김기현의 BERT, GPT-3을 활용한 자연어처리 Online.

1. Introduction to PLMs
- Pretrained Language Model 소개

1. Transfer Learning
   Pretraining & Fine-tuning의 개념인 Transfer Learning에 대해서 소개합니다.
2. Self-supervised Learning
   PLM의 핵심 개념인 Self-supervised Learning에 대해 이야기합니다.
3. Introduction to PLMs
   자연어처리의 최신 트렌드인 PLM에 대해 소개합니다.
4. Downstream Tasks
   학습된 PLM을 적용(fine-tuning)할 수 있는 분야들을 살펴봅니다.

2. Previous Methods
- 전이학습과 기존의 방법들 설명

1. 복습: Word Embedding
   NLP Transfer learning의 시조새인 단어 임베딩에 대해 복습합니다.
2. ELMo
   PLM의 시초격인 ELMo에 대해 소개합니다.

3. Review: Transformer
- PLM의 토대가 되는 Transformer의 구조 소개

1. Seq2seq부터 Transformer까지
   PLM의 토대가 되는 Transformer에 이르기까지의 과정을 간단히 소개합니다.
2. 복습: Attention
   자연어 생성 클래스에서 배운 어텐션을 복습합니다.
3. 복습: Masking at Attention
   자연어 생성 클래스에서 배운 마스킹을 복습합니다.
4. 복습: Transformer
   자연어 생성 클래스에서 배운 Transformer를 복습합니다.

4. PLMs
- GPT, BERT, BART 를 통해 이해하는 3가지 PLM 타입

1. Introduction
   PLM을 기본적인 종류와 형태에 대해 소개합니다.
2. 복습: Language Model
   가장 기본적인 PLM형태의 토대가 되는 언어모델에 대해 복습합니다.
3. 복습: Subword Segmentation
   BPE 알고리즘을 활용한 서브워드 분절에 대해서 복습합니다.
4. Autoregressive Models: GPT
   Open AI의 PLM인 GPT에 대해서 알아봅니다.
5. Autoencoding Models: BERT
   지금의 PLM의 전성기를 이끌고 있는 BERT에 대해 이야기합니다.
6. Calibrated BERT: RoBERTa
   오버피팅을 최소화 하고 학습 효율화를 높인 BERT의 개선판을 소개합니다.
7. Encoder-Decoder Models: BART
   앞서 두 PLM을 합친 BART에 대해 소개합니다.

5. Huggingface와 BERT를 활용한 텍스트 분류 1
- Hugginface 소개 및 실습 시행

1. Huggingface 소개
   허깅페이스 프로젝트와 모델 허브, 공식 문서를 소개합니다.
2. 실습 소개
   BERT를 활용하여 텍스트를 분류하기 위한 실습 과정을 브리핑합니다.
3. 복습: PyTorch Dataset
   딥러닝 초급반에서 다룬 파이토치 데이터셋을 복습합니다.
4. Huggingface Tokenizer
   허깅페이스의 Tokenizer를 활용하여 데이터를 읽고 분절하는 모듈을 실습합니다.
5. 실습: data_loader.py
   허깅페이스의 Tokenizer를 활용하여 데이터를 읽고 분절하는 모듈을 실습합니다.
6. 복습: PyTorch Ignite
   딥러닝 초급반에서 다룬 파이토치 이그나이트를 복습합니다.
7. 실습: bert_trainer.py
   기학습된 BERT를 불러와서 파인튜닝하기 위한 모듈을 실습합니다.
8. 실습: finetune_plm_native.py
   BERT를 활용한 텍스트 분류를 위한 엔트리 포인트를 실습합니다.
9. 실습: classify_plm.py
   파인튜닝된 BERT 모델을 활용하여 추론을 수행하는 코드를 실습합니다.
10. 실습: 학습 실행하기
    모델 학습을 실행하는 방법을 실습합니다.
11. 실습: 결과 확인
    파인튜닝된 BERT 모델을 활용한 분류 결과를 확인합니다.

6. Huggingface와 BERT를 활용한 텍스트 분류 2
- 사전 학습된 모델을 이용하여 텍스트 분류 task에 적용

1. Huggingface Trainer
   학습 코드 작성을 생략할 수 있는 허깅페이스 Trainer를 소개합니다.
2. 실습: finetune_plm_hftrainer.py
   허깅페이스의 Trainer를 활용하여 좀 더 간단하게 구현하는 방법을 실습합니다.
3. 실습: 학습 실행하기
   모델 학습을 실행하는 방법을 실습합니다.
4. 실습: 결과 확인
   파인튜닝된 BERT 모델을 활용한 분류 결과를 확인합니다.

7. Light PLMs
- PLM의 단점을 해결하기 위한 경량화 방법들 소개

1. Introduction
   PLM의 단점과 한계에 대해 살펴보고 해결책들을 소개합니다.
2. ALBERT
   기존 BERT를 개선하여 효율적인 작은 모델을 만드는 방법을 소개합니다.
3. Appendix: Knowledge Distillation
   큰 모델로부터 지식을 증류하여 작은 모델에 압축하는 방법을 소개합니다.
4. Compressed PLMs via KD
   Knowledge Distillation을 활용하여 작은 PLM을 구성하는 방법을 소개합니다.

8. Paradigm Shift with GPT-3
- GPT-3의 등장으로 바뀐 패러다임에 대해 이야기

1. Text-to-Text Framework
   다양한 downstream task를 하나의 모델로 해결할 수 있는 T2T scheme에 대해 소개합니다.
2. GPT-3 Introduction
   PLM의 새로운 패러다임을 제시하는 GPT-3에 대해 소개합니다.
3. Prompt Engineering
   T2T framework의 성능을 고도화 하기 위한 방법을 소개합니다.
4. Few-shot Learning with Medium-LM
   RoBERTa를 통해 GPT-3보다 더 나을 성능의 few-shot learning을 수행하는 방법에 대해 이야기합니다.
5. Automatic Prompt Generation in Medium-LM
   앞서 배운 중간 크기 언어모델을 활용한 few-shot 학습 성능을 고도화 하기 위한 방법을 소개합니다.