코스 프로모션 배너 전용입니다.

0일 0시간 0분 0초 코스 프로모션 배너 전용입니다.

적은 양의 데이터로 고성능 인공지능을 구현하는
PLM을 패스트캠퍼스에서 최초로 배워보세요!

자연어처리에서 가장 화두가 되고 있는 BERT와 GPT-3는
적은 데이터만으로 학습이 가능한 PLMs의 대표 모델입니다.

이 강의에서는 지금 자연어처리에서
꼭 알아야 할 PLM 개념을 다루고,
국내 최초로 BERT와 GPT-3를 집중 파헤칠 것입니다.

가장 널리 쓰이는 BERT 뿐만 아니라,
패러다임의 변화를 제시한 GPT-3와 이를 개선하기 위한 방법들까지
자연어처리 최신 지식을 모두 가져가실 수 있게 도와드립니다.

PLM의 주요 핵심 모델
BERT와 GPT-3를 알아야 하는 이유!

PLM 중 가장 많이 사용되는 BERT

자연어처리에서 PLM의 시대를 연 장본인 BERT는 초기에 제시된 방법인 만큼 작고 간편하지만 성능이 준수하여 가장 널리 쓰이는 모델입니다.

BERT는 가려진 단어를 예측(MLM)하는 방법, 인접한 문장 문단 간 관계를 예측(NSP)하는 방법을 학습하여 많은 벤치마크에서 사람과 비슷한 실력을 선보입니다.

특히 기존보다 훨씬 쉽게 뛰어난 모델을 구현할 수 있기 때문에 자연어처리 분야에 관심 있는 엔지니어라면 꼭 알아야 할 기술입니다.

PLM의 패러다임을 바꾼 GPT-3

단 몇 개 키워드만 넣으면 문장을 생성해주는 혁신적인 AI 언어생성 모델입니다.

Few-shot learning*이 가능하여 적은 양의 데이터로도 인간 수준의 문장 생성이나 질의응답이 가능하기 때문에 현존하는 가장 뛰어난 AI로 평가받고 있습니다.

기사 작성, 이메일 작성, 문학 작품까지 인간과 유사하게 제작해낼 수 있어, 앞으로 사용 범위가 더 넓어질 것으로 예상됩니다.

김기현이 알려주는 Few-shot learning이 궁금하다면 클릭!

적은 양(few-shot)의 데이터로 학습이 가능(few-shot learning)한 것을 말합니다.

GPT-3는 기존 PLM을 활용하는 방법에 새로운 패러다임을 제시하였습니다. 각 downstream task에 대해 fine-tuning하던 기존 방식에서 벗어나, 파라미터 업데이트 없이 in-context learning을 통해 few-shot learning을 할 수 있게 된 것입니다. 따라서 하나의 모델로 모든 task를 해결할 수 있는 generalist가 되었습니다. 물론 그 크기로 인한 비효율성도 존재하므로 이를 개선하기 위한 방법들도 수업에서 다루고자 합니다.

강의 미리 엿보기👀

Point 01

지금 자연어처리 필수 지식 PLM
주요 모델들을 상세히 다루는 국내 첫 강의입니다!

자연어처리 최신 트렌드를 다루는 강의는 물론 너튜브 영상도 찾기 어려우시죠?
최신 지식까지 섭렵하고 싶은 욕심 많은 여러분을 위한 최초 PLM 강의입니다!

Point 02

최신 라이브러리 Hugging Face 활용한
BERT 텍스트 분류 실습 진행!

PLM 중 가장 많이 쓰이는 BERT를 제대로 배우기 위해 최신 라이브러리 Hugging Face를 활용해 텍스트 분류 실습을 진행합니다.
딥러닝 전공자가 아니더라도 실습을 따라오면 챗봇 등 텍스트 분류 관련 실무 모델을 만들 수 있어요!

코드를 line-by-line으로 살펴보고 도식을 통해,
PyTorch Dataloader와 Huggingface를 함께 활용

작성한 학습 코드 실행

학습이 완료된 모델을 로딩하여 추론 수행

다양한 BERT를 활용하여 학습한 결과 성능 분석

최신 라이브러리 Hugging Face의 장점이 궁금하다면 클릭!

Hugging Face는 트랜스포머를 기반의 모델들(transformer.models)과 학습 스크립트(transformer.Trainer)를 구현해 놓은 라이브러리입니다. 기존 PyTorch에서 layer, model 등을 선언하고 학습 스크립트를 전부 구현해야 하는 작업을 줄여준다는 장점이 있습니다.

또한 기존 PyTorch 학습 스크립트의 반복되는 부분을 arguments로 한 번에 통제할 수 있고, 이미 구현된 다양한 트랜스포머 기반 모델들을 쉽게 활용할 수 있어 편리합니다.

Point 03

BERT와 GPT-3의 활용형
BART와 RoBERTa까지 학습 가능!

BERT와 GPT-3의 한계를 극복하는 활용형 모델까지 가르쳐드립니다.
앞으로 대세가 될 활용형 모델까지 배우고 진정한 심화 학습을 완성하세요!

BERT와 GPT의 강점을 합친 BART

GPT나 BERT는 Transformer*의 일부분만 활용해서
좋은 성능을 발휘하는 분야가 한정된 반면, BART의 경우에는 Transformer의 모든 부분을 활용하기에 자연어이해(NLU)와 자연어생성(NLG)에서 모두 좋은 성능을 나타냅니다.

BERT의 성능을 극대화한 RoBERTa

RoBERTa는 기존 BERT의 학습을 강화하여 성능을 높인 모델로, 현재 가장 널리 쓰이는 PLM 중 하나입니다.

GPT-3보다 더 나은 성능을 보여주는 PET

자연어이해(NLU) task에서는 RoBERTa를 통해 Few-shot learning 하는 방법인 PET(Pattern Exploiting Training)를 사용하면 GPT-3의 크기로 인한 비효율적인 측면을 보완할 수 있습니다.

김기현이 알려주는 Transformer가 궁금하다면 클릭!

Transformer는 2018년 제안된 아키텍처로, 당시에는 자연어생성(NLG) 문제(특히 기계번역)를 해결하기 위해 제안되었습니다. 하지만 최근에는 음성과 이미지에서도 두각을 나타내는 등 도메인을 넘나들며 큰 활약을 하고 있습니다. 따라서 요즘은 자연어처리뿐 아니라 딥러닝을 하기 위한 필수적인 아키텍처가 되었습니다.

PLM도 모두 Transformer에 기반하며, 오리지널 Transformer의 일부분을 활용하거나 전체를 활용하여 다양한 형태와 기능을 갖도록 설계되었습니다. 즉, GPT-3와 BERT도 Transformer의 토대 위에서 연구,개발된 아키텍처입니다.

Point 04

PLM의 용량 문제를 해결하기 위한 방법도
한 시간 분량 강의로 설명해드립니다!

이렇게 유용한 PLM이지만 크기가 거대하다는 단점이 있는데요.
배운 것을 잘 활용하실 수 있도록 PLM의 단점을 극복할 2가지 방법을 알려드려요!

김기현이 알려주는 PLM 경량화 팁 2가지!

Point 05

4단계 커리큘럼을 따라오면
지금 자연어처리의 주 흐름인 PLM 완벽 이해할 수 있어요!

심화학습이면 선수지식 많이 필요한가요?
필요한 기본 개념부터 복습하고 시작하니 걱정마세요!

혹시 자연어처리 기본기에 대해 보다 더 깊은 학습을 원하신다면
아래의 강의들을 선수강하시길 추천드립니다!

16가지 주제, 약 23시간 분량
딥러닝 입문자 눈높이에 맞춰 딥러닝 기술 구현에 필요한 기본기를 다지고 간단한 프로젝트 실습까지 진행합니다.

처음부터 시작하는 딥러닝 유치원

강의 자세히 보기
13가지 주제, 약 31시간 분량
자연어처리 입문부터 모델 구현까지 직접 해보면서 서비스 상용화 수준의 자연어처리 전 과정을 경험합니다.

딥러닝을 활용한 자연어처리 입문

강의 자세히 보기
9가지 주제, 약 30시간 분량
자연어 생성 최신 기술을 마스터하고 기계 번역기를 직접 구현할 수 있습니다.

딥러닝을 활용한 자연어생성

강의 자세히 보기

Point 06

이 모든 것을 자연어처리 분야 경력 11년차
데이터 사이언티스트와 함께 합니다!

한눈에 보는 강사님 포트폴리오

11번가 글로벌 기계번역 시스템

자동 통역기 지니톡

로봇팔 이상탐지 시스템

이커머스 추천 시스템

딥러닝을 활용한 통번역기 연구/개발

한국전자통신연구원(ETRI) 자동통역기 연구/개발 (2011~2015)
- 음성인식을 위한 언어모델 연구
- 언어모델 구축을 위한 데이터 수집 및 전처리

SK플래닛 기계번역시스템 연구/개발 (2017~2018)
- PyTorch를 활용하여 신경망 기계번역 시스템 자체 개발 및 상용화
- 11번가 글로벌 사이트에 배포 및 서비스

이커머스 추천 시스템 연구/개발

티켓몬스터 추천시스템 연구/개발 (2016~2017)
- 딥러닝을 활용한 대체재, 보완재 추천 시스템 연구/개발 및 적용 배포

이상탐지 시스템 연구/개발

마키나락스 이상탐지 시스템 연구/개발 (2018~)
- Operational AI: 지속적으로 학습하는 Anomaly Detection 시스템 만들기 NAVER DEVIEW 2019
- RaPP: Novelty Detection with Reconstruction along Projection Pathway ICLR 2020 Poster

코스 프로모션 배너 전용입니다.

0일 0시간 0분 0초 코스 프로모션 배너 전용입니다.

(자동)

정가 ~~(자동)~~

현재 판매가 (자동)

12개월 무이자 할부 시 (자동)

최저가로 수강신청

강의를 들으면, 이렇게 바뀝니다.

PLM의 개념과 원리를 이해할 수 있습니다.

PLM 대표 모델 GPT, BERT, BART 및 RoBERTa, ALBERT 등을 이해할 수 있습니다.

BERT를 활용해 텍스트 분류기 모델을 구현할 수 있습니다.

GPT-3와 같은 few-shot learning이 가능한 PLM 방식들을 이해할 수 있습니다.

이런 분이라면, 강력 추천!

- 데이터 사이언스 분야 중 자연어 처리에 관심을 갖고 심화 학습을 하고 싶은 학생
- 인공지능, 딥러닝의 최신 트렌드를 파악하고 싶은 학생
- 딥러닝 종사자는 아니더라도 자연어처리 모델을 구현해야 하는 현직자

자연어처리 최신 지식,
이 강의로 섭렵하세요.

PLM 주요 모델 이해 가능

PLM 대표 모델 GPT, BERT, BART 및 RoBERTa, ALBERT 등에 대해 베이스부터 배우실 수 있습니다.

BERT 텍스트 분류 실습

최신 라이브러리 Hugging Face를 활용해 챗봇과 같은 텍스트 분류기
실무 모델을 구현할 수 있습니다.

활용형 BART, RoBERTa까지

BERT와 GPT-3를 보완하는
심화모델 BART와 RoBERTa까지
배우실 수 있습니다.

PLM 경량화 팁

PLM을 크기 문제로 인한
단점을 극복할 수 있도록
경량화 방법 강의까지 준비했어요.

김기현 강사님과 함께 해요!

김기현 수석연구원

[저자 경력]
- RaPP: Novelty Detection with Reconstruction along Projection Pathway, Ki Hyun Kim et al., ICLR, 2020
- 김기현의 자연어 처리 딥러닝 캠프 파이토치 편, Ki Hyun Kim, 한빛미디어, 2019

[강의 경력]
- 김기현의 딥러닝을 활용한 자연어처리 입문 올인원 패키지 Online, 패스트캠퍼스
- 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online, 패스트캠퍼스
- 자연어처리를 위한 딥러닝 CAMP, 패스트캠퍼스
- PyTorch를 활용한 자연어처리 심화 CAMP, 패스트캠퍼스
- 신경망 기계번역 튜토리얼, [SKT, KT, KTDS, NSR]

[연구 발표]
- RaPP: Novelty Detection with Reconstruction along Projection Pathway, 삼성전자 종합기술원, 2020 7월
- RaPP: Novelty Detection with Reconstruction along Projection Pathway, 국가보안연구소(NSR), 2020 6월
- Industrial AI와 Anomaly Detection: 알고리즘과 적용 사례, KT 머신러닝데이, 2019 12월
- Anomaly Detection for Industrial Manufacturing, 한국전자통신연구원(ETRI), 2019 11월
- Operational AI: 지속적으로 학습하는 Anomaly Detection 시스템 만들기, 네이버 DEVIEW, 2019 10월

(현) 대기업 S 통신사
- 언어모델링 및 챗봇 연구/개발

(전) 마키나락스 수석연구원
- 이상탐지 및 생성 모델 학습 연구/개발

(전) SK플래닛 머신인텔리전스랩
- 신경망 기계번역 연구/개발 및 상용화
- SK플래닛 SUPEX 수상

(전) 티켓몬스터 데이터랩
- 추천시스템 및 자연어처리 시스템 개발 및 상용화

(전) 한국전자통신연구원(ETRI) 자동통역연구실
- 자동통역(음성인식 및 언어모델) 연구/개발 및 상용화
- 특허기술상(특허청) 충무공상 : 자동통역시스템 발명

자세한 커리큘럼은 아래 내용을 확인하세요!

1. Introduction to PLMs
- Pretrained Language Model 소개

Transfer Learning
Pretraining & Fine-tuning의 개념인 Transfer Learning에 대해서 소개합니다.
Self-supervised Learning
PLM의 핵심 개념인 Self-supervised Learning에 대해 이야기합니다.
Introduction to PLMs
자연어처리의 최신 트렌드인 PLM에 대해 소개합니다.
Downstream Tasks
학습된 PLM을 적용(fine-tuning)할 수 있는 분야들을 살펴봅니다.

2. Previous Methods
- 전이학습과 기존의 방법들 설명

복습: Word Embedding
NLP Transfer learning의 시조새인 단어 임베딩에 대해 복습합니다.
ELMo
PLM의 시초격인 ELMo에 대해 소개합니다.

3. Review: Transformer
- PLM의 토대가 되는 Transformer의 구조 소개

Seq2seq부터 Transformer까지
PLM의 토대가 되는 Transformer에 이르기까지의 과정을 간단히 소개합니다.
복습: Attention
자연어 생성 클래스에서 배운 어텐션을 복습합니다.
복습: Masking at Attention
자연어 생성 클래스에서 배운 마스킹을 복습합니다.
복습: Transformer
자연어 생성 클래스에서 배운 Transformer를 복습합니다.

4. PLMs
- GPT, BERT, BART 를 통해 이해하는 3가지 PLM 타입

Introduction
PLM을 기본적인 종류와 형태에 대해 소개합니다.
복습: Language Model
가장 기본적인 PLM형태의 토대가 되는 언어모델에 대해 복습합니다.
복습: Subword Segmentation
BPE 알고리즘을 활용한 서브워드 분절에 대해서 복습합니다.
Autoregressive Models: GPT
Open AI의 PLM인 GPT에 대해서 알아봅니다.
Autoencoding Models: BERT
지금의 PLM의 전성기를 이끌고 있는 BERT에 대해 이야기합니다.
Calibrated BERT: RoBERTa
오버피팅을 최소화 하고 학습 효율화를 높인 BERT의 개선판을 소개합니다.
Encoder-Decoder Models: BART
앞서 두 PLM을 합친 BART에 대해 소개합니다.

5. Huggingface와 BERT를 활용한 텍스트 분류 1
- Hugginface 소개 및 실습 시행

Huggingface 소개
허깅페이스 프로젝트와 모델 허브, 공식 문서를 소개합니다.
실습 소개
BERT를 활용하여 텍스트를 분류하기 위한 실습 과정을 브리핑합니다.
복습: PyTorch Dataset
딥러닝 초급반에서 다룬 파이토치 데이터셋을 복습합니다.
Huggingface Tokenizer
허깅페이스의 Tokenizer를 활용하여 데이터를 읽고 분절하는 모듈을 실습합니다.
실습: data_loader.py
허깅페이스의 Tokenizer를 활용하여 데이터를 읽고 분절하는 모듈을 실습합니다.
복습: PyTorch Ignite
딥러닝 초급반에서 다룬 파이토치 이그나이트를 복습합니다.
실습: bert_trainer.py
기학습된 BERT를 불러와서 파인튜닝하기 위한 모듈을 실습합니다.
실습: finetune_plm_native.py
BERT를 활용한 텍스트 분류를 위한 엔트리 포인트를 실습합니다.
실습: classify_plm.py
파인튜닝된 BERT 모델을 활용하여 추론을 수행하는 코드를 실습합니다.
실습: 학습 실행하기
모델 학습을 실행하는 방법을 실습합니다.
실습: 결과 확인
파인튜닝된 BERT 모델을 활용한 분류 결과를 확인합니다.

6. Huggingface와 BERT를 활용한 텍스트 분류 2
- 사전 학습된 모델을 이용하여 텍스트 분류 task에 적용

Huggingface Trainer
학습 코드 작성을 생략할 수 있는 허깅페이스 Trainer를 소개합니다.
실습: finetune_plm_hftrainer.py
허깅페이스의 Trainer를 활용하여 좀 더 간단하게 구현하는 방법을 실습합니다.
실습: 학습 실행하기
모델 학습을 실행하는 방법을 실습합니다.
실습: 결과 확인
파인튜닝된 BERT 모델을 활용한 분류 결과를 확인합니다.

7. Light PLMs
- PLM의 단점을 해결하기 위한 경량화 방법들 소개

Introduction
PLM의 단점과 한계에 대해 살펴보고 해결책들을 소개합니다.
ALBERT
기존 BERT를 개선하여 효율적인 작은 모델을 만드는 방법을 소개합니다.
Appendix: Knowledge Distillation
큰 모델로부터 지식을 증류하여 작은 모델에 압축하는 방법을 소개합니다.
Compressed PLMs via KD
Knowledge Distillation을 활용하여 작은 PLM을 구성하는 방법을 소개합니다.

8. Paradigm Shift with GPT-3
- GPT-3의 등장으로 바뀐 패러다임에 대해 이야기

Text-to-Text Framework
다양한 downstream task를 하나의 모델로 해결할 수 있는 T2T scheme에 대해 소개합니다.
GPT-3 Introduction
PLM의 새로운 패러다임을 제시하는 GPT-3에 대해 소개합니다.
Prompt Engineering
T2T framework의 성능을 고도화 하기 위한 방법을 소개합니다.
Few-shot Learning with Medium-LM
RoBERTa를 통해 GPT-3보다 더 나을 성능의 few-shot learning을 수행하는 방법에 대해 이야기합니다.
Automatic Prompt Generation in Medium-LM
앞서 배운 중간 크기 언어모델을 활용한 few-shot 학습 성능을 고도화 하기 위한 방법을 소개합니다.

상세 커리큘럼.

자세한 커리큘럼 및 내용은 여기서 확인하세요!

자세히 보기 »

강의 구매 및 이용 안내.

결제 후, 언제 어디서나 하루 10분 공부 시작.

• 홈페이지 회원가입 및 로그인
• 원하는 강의 결제하기
• 마이페이지에서 강의 시청하기

하루 10분으로
완전 정복.

패스트캠퍼스 ONLY 자연어처리 심화 커리큘럼.
지금 자연어처리 분야에서 꼭 알아야 할 최신 주제들을 총정리하여 가르쳐드립니다.

BERT 활용한 실무 모델 구현 가능
딥러닝 전공자가 아니더라도, BERT를 활용해 챗봇과 같은 실무 모델을 구현하실 수 있습니다.

원하는 장소 어디서나.
오프라인 강의로밖에 만날 수 없었던 현직자의 딥러닝 입문 강의를 온라인으로 편리하게 수강해보세요.

무제한 반복 학습과 평생 소장.
15시간 분량의 강의를 단 한 번의 결제로 기간 제한 없이 반복하여 수강할 수 있습니다.

김기현의 BERT, GPT-3를 활용한
자연어처리 Online 상세정보.

수업 시수

• 8개 대주제, 50여 개 강의 클립
• 약 15시간 분량

난이도

• 심화
• 선수지식
강의에서 PyTorch Dataset & Dataloader, PyTorch Ignite, Word embedding & Embedding layer, Subword segmentation(BPE), Language Modeling, Sequence-to-Sequence, Attention, Transformers에 대한 선수지식을 간단하게 설명해드리나, 보다 깊은 학습을 원하시는 분들은 '처음부터 시작하는 딥러닝 유치원', '김기현의 딥러닝을 활용한 자연어처리 입문', '김기현의 딥러닝을 활용한 자연어생성' 강의 수강을 권장합니다.

강의 특징

• 수강료 1회 결제로 평생 소장 • PyTorch(1.9.0), PyTorch Ignite, Hugginface Transformers 활용

부가 학습 자료

• 강의 영상 공개 후, 마이페이지 > 내 강의 보기 > 온라인 강의장에서 확인 가능

코스 프로모션 배너 전용입니다.

0일 0시간 0분 0초 코스 프로모션 배너 전용입니다.

(자동)

정가 ~~(자동)~~

현재 판매가 (자동)

12개월 무이자 할부 시 (자동)

최저가로 수강신청

주의사항 * 상황에 따라 사전 공지 없이 할인이 조기 마감되거나 연장될 수 있습니다.
* 수강 신청 및 결제를 완료하시면, 마이페이지를 통해 바로 수강이 가능합니다.
* 본 강의는 PyTorch(1.9.0), PyTorch Ignite, Hugginface Transformers 활용하여 진행됩니다.

– 총 학습기간 :
정상 수강기간(유료 수강기간) 최초 1개월(30일), 무료 수강 기간은 31일차 이후로 무제한이며, 유료 수강기간과 무료 수강기간 모두 동일하게 시청 가능합니다.
본 패키지는 약 15시간 분량으로, 일 1시간 내외의 학습 시간을 통해 정상 수강 기간(=유료 수강 기간) 내에 모두 수강이 가능합니다.
– 수강시작일 :
수강 시작일은 결제일로부터 기간이 산정됩니다. 패스트캠퍼스의 사정으로 수강시작이 늦어진 경우에는해당 일정 만큼 수강 시작일이 연기됩니다.
* 천재지변, 폐업 등 서비스 중단이 불가피한 상황에는 서비스가 종료될 수 있습니다.
– 본 상품은 기수강생 할인, VIP CLUB 제도 (구 프리미엄 멤버십), 기타 할인이벤트 적용 불가 합니다.
– 콘텐츠는 향후 당사의 일정에 따라 추가 또는 업데이트 될 수 있습니다.
– 쿠폰 적용이나 프로모션 등으로 인해 5만원 이하의 금액으로 강의를 결제할 경우, 할부가 적용되지 않습니다.

환불규정 – 수강시작 후 7일 이내, 5강 미만 수강 시에는 100%환불 가능합니다.
– 수강시작 후 7일 초과, 5강 이상 수강시 수강기간인 1개월(30일) 대비 잔여일에 대해 다음과 같이 환불 가능합니다.
: 환불요청일시 기준 수강시작 후 8일 ~10일 미만 경과시, 실 결제금액의 2/3에 해당하는 금액을 환불
: 환불요청일시 기준 수강시작 후 11일~15일 미만 경과시, 실 결제금액의 1/2에 해당하는 금액을 환불
: 환불요청일시 기준 수강시작 후 15일 초과 시, 환불금액 없음

패스트캠퍼스 아이디 공유 금지 정책 안내 아이디 공유란?
1개의 아이디로 여러명이 공유하여 수강하는 형태를 말합니다. 패스트캠퍼스의 모든 온라인 강의에서는 아이디 공유를 금지하고 있습니다.
동시접속에 대한 기록이 내부 시스템을 통해 자동으로 누적되며, 동시 접속 기록이 10회 이상 확인되는 경우 사전 안내없이 아이디가 차단될 수 있습니다.

root layout

김기현의 BERT, GPT-3을 활용한 자연어처리 Online.