전체 글 (38) 썸네일형 리스트형 [논문리뷰] Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting (1/3) SSM 논문에 이어 time series forecasting과 관련된 또다른 논문을 읽어보았다. 이번 논문은 23쪽에 육박하기 때문에 읽는 데 시간이 좀 걸릴 것 같지만... 차근차근 읽어보도록 하겠다. 1. Introduction Multi-horizon forecasting은 multiple future time step에서의 관심 있는 변수를 예측하는 것으로, time series machine learning에서 중요한 문제이다. one-step-ahead prediction과는 달리, multi-horizon forecast는 사용자에게 전체에 걸친 추정치를 제공하여 미래의 여러 단계에서 행동을 최적화할 수 있도록 도와준다. multi-horizon forecasting은 소매, 의료 및 경제.. [논문리뷰] Deep State Space Models for Time Series Forecasting (2/2) 4. Deep State Space Models 각 time series에 대한 state space parameter $\Theta^{(i)}$를 독립적으로 학습시키는 대신, 우리의 모델은 covariate vectors $\mathbf{x}_{1:T_i}^{(i)}$로부터 parameter $\Theta_t^{(i)}$로의 globally shared mapping을 학습시킨다. 이 mapping은 모든 covariate time series $\mathbf{x}_{1:t}^{(i)}$와 shared parameter의 집합 $\Phi$에 대한 함수로, 식으로 표현하면 다음과 같다. 주어진 $\mathbf{x}_{1:T}^{(i)}$와 parameter $\Phi$에 대해 $z_{1:T_i}^{(i).. [논문리뷰] Deep State Space Models for Time Series Forecasting (1/2) 이번 랩인턴을 진행하면서 인공지능 경진대회를 나가게 되었는데, 관련 대회가 time series data를 처리하는 task여서 관련 논문을 읽게 되었다. 이쪽 분야의 지식은 전혀 없는 상태이기 때문에 평소보다 더 꼼꼼히 리뷰해보도록 하겠다. 1. Introduction Time series forecasting은 industrial and business decision process에서 매우 중요한 요소로, 대표적인 예는 demand forecasting이다. 성공적으로 재고를 계획하고 운영 비용을 최소화하기 위해서는 정확한 최신의 모델이 필요하다. State space model (SSM)은 trend와 seasonality 같은 time series pattern을 모델링하고 학습하기 위한 기본적.. [논문리뷰] Learning Loss for Active Learning (1/2) tabular data에 대한 논문리뷰를 하다가 뜬금없이 다른 주제의 논문을 가지고 왔다. 사실 이번주에 논문을 읽으면서 별로 재미가 없었는데 아무래도 주제에 대한 흥미가 부족해서 그런 게 아니었나 싶다. 그래서 refresh도 할 겸 해서 다른 주제의 논문을 한번 읽어보기로 했다. KAIST에서 연구되어 출판 논문이다. 1. Introduction 데이터는 풍부하지만 deep neural network에 필요한 데이터는 충분하지 않다. 경험적 분석에 의하면 훈련 데이터의 양이 적기 때문에 최근 deep network의 성능이 최대치를 보여주지 못하고 있다. 이러한 이유로 semi-supervised learning에서 unsupervised learning으로 이어지는 학습 방법들이 weakly-lab.. [논문리뷰] Tabular Data: Deep Learning is Not all you need 지금까지 tabular data와 관련된 여러 논문을 읽어왔는데, 아직 tabular data에 대한 개념이 제대로 정립되지 않은 것 같아서 한번 짚고 넘어가봐야 할 필요가 있을 것 같다. 이 논문은 tabular data가 유독 타 데이터 도메인에 비해 deep learning이 먹히지 않는 현상에 대해 관찰한 논문이다. 1. Introduction deep neural network는 이미지, 오디오, 텍스트 등 다양한 분야에서 큰 성공을 거두었다. 각 분야에서는 raw data를 의미 있는 값으로 인코딩하기 위한 몇 가지 대표적인 아키텍처가 있는데, 이들은 실전에서 우수한 성능을 발휘한다. 실제로로 가장 일반적인 데이터 유형은 tabular data로, sample(행)은 그에 대응되는 featur.. [논문리뷰] Chain of Hindsight Aligns Language Models with Feedback 매칭된 사수분께서 읽어보라고 한 또다른 논문이다. 1. Introduction LLM (Large language model)은 natural language 분야에서 매우 놀라운 성취를 거두었지만, 이 기술이 사회에 긍정적인 영향을 미치게 하기 위해서는 human value와 일치하도록 하는 것이 중요하다. 이를 위해 가장 중요한 요소는 human feedback이다. human feedback은 객관적이고 주관적인 측면에서 이러한 모델의 성능을 평가할 수 있도록 해준다. 이는 정확성, 공정성, 편견과 관련된 문제를 파악하는 데 도움이 되며, model output이 사회적 기준에 부합하는지 확인하기 위해 모델을 개선하는 데 도움을 줄 수 있다. human feedback을 LM에 통합하는 중요성에 따.. [논문리뷰] Language Models are Realistic Tabular Data Generators 매칭된 사수분께서 읽어보라고 한 또 하나의 논문... tabular data를 LM에 결합한 GReaT라는 모델에 대해 소개하고 있는 논문이다. 1. Introduction tabular data는 ML의 데이터 중 가장 흔한 형태 중 하나이다. Google Dataset Search platform의 65% 이상이 CSV나 XLS 형태의 tabular file을 포함한다. 그러나 이러한 tabular dataset은 (i) imbalanced되어 있거나, (ii) 개인정보가 담겨있어 공유할 수가 없거나, (iii) noisy or missing value 등의 impurity issue를 갖고 있는 경우가 많다. 이때 기존 데이터로부터 합성시켜 생성된 데이터는 이러한 세 가지 문제점을 완화시켜줄 수 있.. [논문리뷰] SOS: Score-based Oversampling for Tabular Data (2/2) 3. Proposed Method Definition 3.1. $\mathcal{T}$가 $M$개의 class $\{\mathcal{C}_m\}_{m=1}^M$을 갖는 table이라 하자. 이때 maximum cardinality보다 작은 cardinality를 갖는 $\mathcal{C}_j$, 즉 $|\mathcal{C}_j| 이전 1 2 3 4 5 다음
