티스토리

Deep Dive: AI Research

검색하기

블로그 홈

Deep Dive: AI Research

mathdoyun.tistory.com/m

매쓰도윤 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

Denoising Diffusion Implicit Models Non-Markovian Forward Process를 적용하여 DDPM에 randomness를 줄인 모델인 DDIM 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Denoising-Diffusion-Implicit-Models-f3900e97f13d445cbce896b62537b7ec Denoising Diffusion Implicit Models | Notion1. Introductionruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 2 댓글수 0 2024. 8. 31.
Generating Diverse High-Fidelity Images with VQ-VAE-2 VQ-VAE model에 hierarchical architecture를 적용한 모델인 VQ-VAE-2 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Generating-Diverse-High-Fidelity-Images-with-VQ-VAE-2-b7ef04de460d4d839f97555767f32a0a?pvs=4 Generating Diverse High-Fidelity Images with VQ-VAE-2 | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2024. 2. 4.
Neural Discrete Representation Learning VAE의 latent variable에 vector quantization을 도입한 모델인 VQ-VAE 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Neural-Discrete-Representation-Learning-de09712cedfa472a8fbaa84ff2f767dd?pvs=4 Neural Discrete Representation Learning | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2024. 2. 3.
Score-based Generative Modeling through Stochastic Differential Equations SMLD와 DDPM model은 모두 SDE를 discretize한 모델임을 시사하는 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Score-based-Generative-Modeling-through-Stochastic-Differential-Equations-88c707e283874aac8c5143fb0d7587e8?pvs=4 Score-based Generative Modeling through Stochastic Differential Equations | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2024. 2. 3.
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale Transformer를 vision task에 접목시킨 모델인 ViT 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/An-Image-is-Worth-16x16-Words-Transformers-for-Image-Recognition-at-Scale-8f616a55fa6a428a97845727882c1b02?pvs=4 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2024. 2. 3.
Language Models are Unsupervised Multitask Learners GPT 모델에서 더욱 많은 parameter를 사용하여 부족한 부분을 개선한 모델인 GPT-2 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Language-Models-are-Unsupervised-Multitask-Learners-6f505abbb67243a9b2cdc6a658771aaf?pvs=4 Language Models are Unsupervised Multitask Learners | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2024. 2. 3.
Improving Language Understanding by Generative Pre-Training Large unlabeled text corpora로 학습시킨 generative pre-trained model인 GPT 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Improving-Language-Understanding-by-Generative-Pre-Training-a0d9fb62ca004932953a822c13178e2e?pvs=4 Improving Language Understanding by Generative Pre-Training | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2024. 2. 3.
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Deep bidirectional representation을 활용한 pre-trained model인 BERT 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding-1c4323ee7ad844ca937240bf295e1788?pvs=4 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2024. 2. 3.
Deep contextual word representations Deep bidirectional language model biLM을 사용한 word representation인 ELMo 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Deep-contextual-word-representations-0e7660812cee4080b9b4919a5991e880?pvs=4 Deep contextual word representations | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2024. 2. 3.
Generative Modeling by Estimating Gradients of the Data Distribution Score function과 Langevin dynamics를 이용하여 샘플을 생성하는 모델인 score-based model 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Generative-Modeling-by-Estimating-Gradients-of-the-Data-Distribution-e375e108777240f29e8f5ecdff02d257?pvs=4 Generative Modeling by Estimating Gradients of the Data Distribution | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2024. 1. 31.
Denoising Diffusion Probabilistic Models High quality image를 생성해주는 diffusion model인 DDPM 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Denoising-Diffusion-Probabilistic-Models-72c2d445fa084f419027105778088960?pvs=4 Denoising Diffusion Probabilistic Models | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2024. 1. 24.
Deep Residual Learning for Image Recognition 훈련을 더욱 쉽고 깊게 진행할 수 있도록 해주는 모델인 ResNet 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Deep-Residual-Learning-for-Image-Recognition-ae5b57dd285c425db36b048af2d0be7a?pvs=4 Deep Residual Learning for Image Recognition | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2024. 1. 24.
U-Net: Convolutional Networks for Biomedical Image Segmentation Image segmentation 분야에서 좋은 성능을 보여준 모델인 U-Net 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/U-Net-Convolutional-Networks-for-Biomedical-Image-Segmentation-f1852b8e06324900ab433b35ca037014?pvs=4 U-Net: Convolutional Networks for Biomedical Image Segmentation | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 1 댓글수 0 2024. 1. 24.
Neural Machine Translation by Jointly Learning to Align and Translate Seq2Seq 모델에서 context vector의 문제점을 보완한 모델인 Attention Mechanism 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Neural-Machine-Translation-by-Jointly-Learning-to-Align-and-Translate-1ca352992c1e409a806e40ec393f8da8?pvs=4 Neural Machine Translation by Jointly Learning to Align and Translate | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 1 댓글수 0 2024. 1. 24.
Auto-Encoding Variational Bayes Continuous latent variable을 사용하여 만들어진 autoencoder인 VAE 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Auto-Encoding-Variational-Bayes-5cd7a17ad31f4367a91fa3d232ac6fff?pvs=4 Auto-Encoding Variational Bayes | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2024. 1. 24.
Generative Adversarial Nets Generative model 분야에 새로운 아이디어를 제시하여 혁명을 불러일으킨 GAN 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Generative-Adversarial-Nets-e581875ddf5f4034a5635b44078860a5?pvs=4 Generative Adversarial Nets | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2024. 1. 24.
Attention Is All You Need RNN이나 CNN을 사용하지 않고 Attention mechanism만을 사용하여 만들어진 모델인 Transformer 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Attention-Is-All-You-Need-e94daaf4fa8642b69df6baaeaf4a6992?pvs=4 Attention Is All You Need | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2023. 9. 19.
Sequence to Sequence Learning with Neural Networks Translation task에서 sequence를 sequence로 변환해주는 모델인 Seq2Seq 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Sequence-to-Sequence-Learning-with-Neural-Networks-89f5d6c4c760481dbfae835573e45dba?pvs=4 Sequence to Sequence Learning with Neural Networks | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 공감수 0 댓글수 0 2023. 9. 13.
[논문리뷰] Crossformer: Transformer Utilizing Cross-Dimension Dependency for Multivariate Time Series Forecasting (2/2) 3.3. Hierarchical Encoder-Decoder 서로 다른 scale에 대한 정보를 얻기 위해 MTS forecasting의 transformer에는 hierarchical structure가 주로 사용된다. 이 섹션에서 우리는 제안된 DSW embedding, TSA layer과 segment merging을 사용하여 Hierarchical Encoder-Decoder (HED)를 만들었다. Fig. 3에서 볼 수 있듯이, upper layer는 forecasting에 대해 주어진 정보의 대략적인 내용만을 사용한다. 다른 scale에서의 forecasting value는 최종결과의 output에 더해진다. Encoder: 각 encoder의 layer에서, time domain의 두 인접한.. 공감수 0 댓글수 0 2023. 8. 31.
[논문리뷰] Crossformer: Transformer Utilizing Cross-Dimension Dependency for Multivariate Time Series Forecasting (1/2) SCINet으로 모델을 구현하는 데는 성공했지만 최종 점수는 그리 좋지 않았던 반면, 같이 대회에 참여하는 학부생 인턴 친구가 구현한 모델은 꽤 좋은 점수가 나왔다. 따라서 이 모델로 구현한 코드를 제출하기로 결정했는데, 그게 바로 crossformer이다. 그리하여 또다시 이 모델에 대해 자세히 이해하기 위해 논문을 읽어보았다. 1. Introduction Multivariate Time Series (MTS)는 multiple dimension을 갖는 time series로, 각 dimension은 특정한 univariate time series를 나타낸다. MTS forecasting은 해당 MTS의 과거 값으로부터 미래 값을 예측하는 것을 목표로 한다. MTS forecasting은 downstr.. 공감수 0 댓글수 0 2023. 8. 28.
[논문리뷰] SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction (2/2) 4. Experiments 이 section에서는 time series forecasting에 대한 state-of-the-art model과의 비교를 보여주며, SCINet의 구성 요소의 효과를 평가하기 위한 연구를 제시한다. 4.1. Datasets 총 11가지 time series dataset에 대해 실험을 진행했고, 각 dataset의 정보를 정리하면 Table 1과 같다. 4.2. Results and Analyses Table 2, 3, 4, 5, 6은 SCINet에 대한 실험 결과를 보여주고 있다. 우리는 SCINet이 다른 TSF model과 비교했을 때 더욱 좋은 성능을 보여준다는 것을 관찰할 수 있었다. Short-term Time Series Forecasting: short-ter.. 공감수 0 댓글수 0 2023. 8. 20.
[논문리뷰] SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction (1/2) 저번 TFT 논문을 읽고 얻은 지식을 토대로 forecasting model을 구현해봤는데, pytorch_lightning이라는 생소한 개념을 사용하는 탓에 구현하기가 힘들어서 결국 포기하고 또다른 time series forecasting 논문을 가져왔다. 이번에는 부디 논문의 내용을 이해하고 구현할 수 있기를 기원한다. 1. Introduction Time series forecasting (TSF)는 미래의 변화를 추정하여 결정을 내릴 수 있도록 해주며, 이로써 의료, 에너지 관리, 교통 흐름, 금융 투자 등과 같은 다양한 과학 및 공학 분야에서 중요한 역할을 한다. sequence modeling에 주로 사용되는 deep neural network로는 (i) recurrent neural net.. 공감수 0 댓글수 0 2023. 8. 11.
[논문리뷰] Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting (3/3) 6. Performance Evaluation 6.1. Datasets 데이터셋으로는 Electricity, Traffic, Retail, Volatility 데이터셋을 사용하였다. Electricity: 고객 370명의 전기 소비량에 대한 데이터 - 일주일(168시간) 간의 정보를 사용하여 다음 24시간의 데이터 예측 Traffic: 고속도로의 occupancy rate ($y_t \in [0, 1])$에 대한 데이터 - 일주일 간의 정보를 사용하여 다음 24시간의 데이터 예측 Retail: 제품과 상점에 대한 metadata - 90일 간의 정보를 사용하여 다음 30일간의 데이터 예측 Volatility: 31개 주식의 volatility value - 1년(252일) 간의 정보를 사용하여 다음 5일.. 공감수 0 댓글수 0 2023. 8. 3.
[논문리뷰] Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting (2/3) 4. Model Architecture 우리는 TFT를 설계하여 각 input type에 대한 feature representation을 구축하고 다양한 문제에 대해 높은 forecasting performance를 제공한다. TFT의 구조를 그림으로 그리면 Fig. 2와 같다. 4.1. Gating Mechanisms Exogenous Input과 Target 사이의 관계는 미리 알 수 없어 어떠한 변수들이 연관되어 있는지 예측하기 어렵게 한다. 또한 필요한 non-linear processing의 길이를 결정하기 힘들며 단순한 모델들이 훨씬 효과적일 수 있는 small or noisy dataset이 존재하기도 한다. TFT는 필요할 때만 non-linear processing을 하여 모델의 유연성을.. 공감수 0 댓글수 0 2023. 8. 2.
[논문리뷰] Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting (1/3) SSM 논문에 이어 time series forecasting과 관련된 또다른 논문을 읽어보았다. 이번 논문은 23쪽에 육박하기 때문에 읽는 데 시간이 좀 걸릴 것 같지만... 차근차근 읽어보도록 하겠다. 1. Introduction Multi-horizon forecasting은 multiple future time step에서의 관심 있는 변수를 예측하는 것으로, time series machine learning에서 중요한 문제이다. one-step-ahead prediction과는 달리, multi-horizon forecast는 사용자에게 전체에 걸친 추정치를 제공하여 미래의 여러 단계에서 행동을 최적화할 수 있도록 도와준다. multi-horizon forecasting은 소매, 의료 및 경제.. 공감수 1 댓글수 0 2023. 8. 1.
[논문리뷰] Deep State Space Models for Time Series Forecasting (2/2) 4. Deep State Space Models 각 time series에 대한 state space parameter $\Theta^{(i)}$를 독립적으로 학습시키는 대신, 우리의 모델은 covariate vectors $\mathbf{x}_{1:T_i}^{(i)}$로부터 parameter $\Theta_t^{(i)}$로의 globally shared mapping을 학습시킨다. 이 mapping은 모든 covariate time series $\mathbf{x}_{1:t}^{(i)}$와 shared parameter의 집합 $\Phi$에 대한 함수로, 식으로 표현하면 다음과 같다. 주어진 $\mathbf{x}_{1:T}^{(i)}$와 parameter $\Phi$에 대해 $z_{1:T_i}^{(i).. 공감수 0 댓글수 0 2023. 7. 30.
[논문리뷰] Deep State Space Models for Time Series Forecasting (1/2) 이번 랩인턴을 진행하면서 인공지능 경진대회를 나가게 되었는데, 관련 대회가 time series data를 처리하는 task여서 관련 논문을 읽게 되었다. 이쪽 분야의 지식은 전혀 없는 상태이기 때문에 평소보다 더 꼼꼼히 리뷰해보도록 하겠다. 1. Introduction Time series forecasting은 industrial and business decision process에서 매우 중요한 요소로, 대표적인 예는 demand forecasting이다. 성공적으로 재고를 계획하고 운영 비용을 최소화하기 위해서는 정확한 최신의 모델이 필요하다. State space model (SSM)은 trend와 seasonality 같은 time series pattern을 모델링하고 학습하기 위한 기본적.. 공감수 1 댓글수 0 2023. 7. 30.
[논문리뷰] Learning Loss for Active Learning (1/2) tabular data에 대한 논문리뷰를 하다가 뜬금없이 다른 주제의 논문을 가지고 왔다. 사실 이번주에 논문을 읽으면서 별로 재미가 없었는데 아무래도 주제에 대한 흥미가 부족해서 그런 게 아니었나 싶다. 그래서 refresh도 할 겸 해서 다른 주제의 논문을 한번 읽어보기로 했다. KAIST에서 연구되어 출판 논문이다. 1. Introduction 데이터는 풍부하지만 deep neural network에 필요한 데이터는 충분하지 않다. 경험적 분석에 의하면 훈련 데이터의 양이 적기 때문에 최근 deep network의 성능이 최대치를 보여주지 못하고 있다. 이러한 이유로 semi-supervised learning에서 unsupervised learning으로 이어지는 학습 방법들이 weakly-lab.. 공감수 0 댓글수 0 2023. 7. 27.
[논문리뷰] Tabular Data: Deep Learning is Not all you need 지금까지 tabular data와 관련된 여러 논문을 읽어왔는데, 아직 tabular data에 대한 개념이 제대로 정립되지 않은 것 같아서 한번 짚고 넘어가봐야 할 필요가 있을 것 같다. 이 논문은 tabular data가 유독 타 데이터 도메인에 비해 deep learning이 먹히지 않는 현상에 대해 관찰한 논문이다. 1. Introduction deep neural network는 이미지, 오디오, 텍스트 등 다양한 분야에서 큰 성공을 거두었다. 각 분야에서는 raw data를 의미 있는 값으로 인코딩하기 위한 몇 가지 대표적인 아키텍처가 있는데, 이들은 실전에서 우수한 성능을 발휘한다. 실제로로 가장 일반적인 데이터 유형은 tabular data로, sample(행)은 그에 대응되는 featur.. 공감수 4 댓글수 1 2023. 7. 26.
[논문리뷰] Chain of Hindsight Aligns Language Models with Feedback 매칭된 사수분께서 읽어보라고 한 또다른 논문이다. 1. Introduction LLM (Large language model)은 natural language 분야에서 매우 놀라운 성취를 거두었지만, 이 기술이 사회에 긍정적인 영향을 미치게 하기 위해서는 human value와 일치하도록 하는 것이 중요하다. 이를 위해 가장 중요한 요소는 human feedback이다. human feedback은 객관적이고 주관적인 측면에서 이러한 모델의 성능을 평가할 수 있도록 해준다. 이는 정확성, 공정성, 편견과 관련된 문제를 파악하는 데 도움이 되며, model output이 사회적 기준에 부합하는지 확인하기 위해 모델을 개선하는 데 도움을 줄 수 있다. human feedback을 LM에 통합하는 중요성에 따.. 공감수 0 댓글수 0 2023. 7. 25.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.