논문리뷰 (38) 썸네일형 리스트형 [논문리뷰] SOS: Score-based Oversampling for Tabular Data (1/2) 이 논문을 읽기 위해 M2m 논문을 읽었다가 Score-based modeling과 SDE 논문까지 읽었다. 그럼 이제 충분히 배경지식이 갖춰진 것 같으니 본 논문을 분석해보자. 1. Introduction tabular data는 data mining과 machine learning에서 자주 등장하는 데이터지만, imbalanced situation이 발생하는 경우가 많다. imbalanced situation은 각 class에 해당하는 샘플의 수가 크게 차이 나는 현상으로, 계속하여 연구되어온 주제이다. 이를 해결하기 위해 classical statistical method부터 recent deep generative method까지 다양한 방법이 제시되었다. 다양한 deep generative mo.. [논문리뷰] M2m: Imbalanced Classification via Major-to-minor Translation (2/2) 3. Experiments 우리는 이렇게 만들어진 모델을 CIFAR-10/100, ImageNet-LT, CelebA, SUN397, Twitter, Reuter dataset과 같이 다양한 class-imbalanced classification task로 평가해보았다. Figure 3은 실험에 사용된 데이터셋의 class-wise sample distribution을 나타낸다. balanced test distribution에서 모델의 classification 성능을 평가하기 위해 우리는 기하평균과 산술평균에 해당하는 balanced accuracy (bACC)와 geometric mean score (GM)의 2가지 방법을 사용했다. 3.1. Experimental setup Baseline me.. [논문리뷰] M2m: Imbalanced Classification via Major-to-minor Translation (1/2) 아무 목적 없이 논문만 읽은 지 3주차... 드디어 사수 분이 매칭되어 관련 연구를 맛보기로 진행해보게 되었다! 하지만 연구를 진행하기 위해서는 배경지식이 필요하기 때문에 또다시 관련 논문을 읽어야 한다... 읽어보도록 하자. 1. Introduction Deep Neural Network(DNN)는 컴퓨터 비전 작업에서 큰 성공을 거두었는데, 이는 대규모 데이터셋에 접근할 수 있었기 때문이다. 그러나 CIFAR나 ILSVRC와 같이 잘 정의된 데이터셋과 달리 실제 데이터셋은 종종 클래스 불균형 문제를 가지고 있어 DNN이 일반화하기 어려운데, 이를 class-imbalanced dataset이라고 한다. 이 문제를 해결하기 위한 대표적인 접근 방법은 (a) 손실 함수를 re-weighting하거나 (b.. [논문리뷰] LIFT: Language-Interfaced Fine-Tuning for Non-Language Machine Learning Tasks (3/3) 4. Evaluation of LIFT-Specific Learning Properties 이 절에서는 LIFT를 더욱 세밀하게 조사해본 결과를 설명하고 있다. 4.1. Does LIFT Benefit from Incorporating Feature Names? standard machine learning algorithm과 달리, LIFT는 feature name과 task description을 prompt에 통합하여 context information을 제공받을 수 있다. 직관적으로, 이러한 통합은 pretraining 단계에서 이미 학습된 이전 지식이 LIFT의 sample complexity를 개선하는 데 도움을 줄 수 있다. 7개의 prompt template을 설계하여 feature nam.. [논문리뷰] LIFT: Language-Interfaced Fine-Tuning for Non-Language Machine Learning Tasks (2/3) 3. Basic Findings of LIFT main finding을 요약하자면 다음과 같다. 3.1. How Well Does LIFT Perform on Standard ML Tasks? Classification: Table 4에서는 다양한 알고리즘에 대한 classification accuracy를 비교하고 있다. 표에서 $p$는 feature의 수, $c$는 data class의 수를 의미한다. 표를 보면 LIFT가 대부분의 baseline에 대해 동등한 성능을 발휘하며, 거의 모든 케이스에 대해 LIFT/GPT가 top 3 안에 드는 것을 확인할 수 있다. 또한 logistic regression과 비교해봤을 때, LIFT는 non-linear relationship을 더욱 잘 학습한다는 것.. [논문리뷰] LIFT: Language-Interfaced Fine-Tuning for Non-Language Machine Learning Tasks (1/3) AI대학원에서 인턴을 시작하면서 처음으로 논문을 각 잡고 읽어봤는데, 예상했던 것 이상으로 어려웠다. 계속 같은 내용을 읽기만 하는 건 별로 효과가 없을 것 같았고, 이 내용을 직접 나만의 언어로 정리하면 논문을 이해하는 데 도움이 될 것 같다는 생각이 들었다. 그리하여 이렇게 티스토리 계정을 만들어서 처음으로 글을 써보게 되었다. 논문을 읽는 것 자체도 처음이고 리뷰를 하는 것도 처음이기 때문에 틀린 내용이 있을 수도 있다는 점 양해 부탁드린다. 1. Introduction Deep neural network는 다양한 분야에서 성공적으로 활용되어왔고 최근에는 transformer-based language model (LM)이 좋은 성능을 보여줬다. 이러한 작업이 language-based라면 simp.. 이전 1 2 3 4 5 다음
