논문리뷰/Natural Language Processing (7) 썸네일형 리스트형 Language Models are Unsupervised Multitask Learners GPT 모델에서 더욱 많은 parameter를 사용하여 부족한 부분을 개선한 모델인 GPT-2 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Language-Models-are-Unsupervised-Multitask-Learners-6f505abbb67243a9b2cdc6a658771aaf?pvs=4 Language Models are Unsupervised Multitask Learners | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! Improving Language Understanding by Generative Pre-Training Large unlabeled text corpora로 학습시킨 generative pre-trained model인 GPT 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Improving-Language-Understanding-by-Generative-Pre-Training-a0d9fb62ca004932953a822c13178e2e?pvs=4 Improving Language Understanding by Generative Pre-Training | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Deep bidirectional representation을 활용한 pre-trained model인 BERT 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding-1c4323ee7ad844ca937240bf295e1788?pvs=4 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! Deep contextual word representations Deep bidirectional language model biLM을 사용한 word representation인 ELMo 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Deep-contextual-word-representations-0e7660812cee4080b9b4919a5991e880?pvs=4 Deep contextual word representations | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! Neural Machine Translation by Jointly Learning to Align and Translate Seq2Seq 모델에서 context vector의 문제점을 보완한 모델인 Attention Mechanism 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Neural-Machine-Translation-by-Jointly-Learning-to-Align-and-Translate-1ca352992c1e409a806e40ec393f8da8?pvs=4 Neural Machine Translation by Jointly Learning to Align and Translate | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! Attention Is All You Need RNN이나 CNN을 사용하지 않고 Attention mechanism만을 사용하여 만들어진 모델인 Transformer 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Attention-Is-All-You-Need-e94daaf4fa8642b69df6baaeaf4a6992?pvs=4 Attention Is All You Need | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! Sequence to Sequence Learning with Neural Networks Translation task에서 sequence를 sequence로 변환해주는 모델인 Seq2Seq 논문을 리뷰해봤다. https://ruddy-sheet-75d.notion.site/Sequence-to-Sequence-Learning-with-Neural-Networks-89f5d6c4c760481dbfae835573e45dba?pvs=4 Sequence to Sequence Learning with Neural Networks | Notion 1. Introduction ruddy-sheet-75d.notion.site 정리한 내용 중 오류가 있다면 댓글로 알려주시면 감사하겠습니다! 이전 1 다음
