대규모 언어모델 LLAMA를 활용한 프로젝트 구현과 Fine tuning
Online Course.
대규모 언어모델 LLaMa를 활용한
프로젝트 구현과 Fine tuning
-
Meta AI의 언어모델 LLaMa 파헤치기
생성 언어모델의 기본 개념 및 종류와 함께 Meta AI에서 직접 개발한 대규모 언어모델 LLaMa에 대해 살펴봅니다.
-
LLaMa 와 Chat GPT 기술 비교 분석
Meta AI에서 개발한 LLaMa와 Open AI에서 개발한 Chat GPT의 핵심 기술과 개념을 비교 분석해봅니다.
-
LLaMa를 활용한 Fine tuning, Alpaca
대규모 언어모델 LLaMa를 활용하여 언어 모델 학습, 분산 학습, 명렁어 타입 대화 모델 학습 등을 위한 Fine tuning을 진행해봅니다.
지금 글로벌 IT 시장에서 가장 핫한 키워드는 단연,
Chat GPT가 쏘아올린 AI 기술 전쟁
글로벌 기업들의 경쟁이 치열해진 대규모 언어모델
Generative AI 시장이 가열되면서
수 많은 IT 기업들이 대규모 언어모델의 상용화와 시장 점유를 위해
비용을 더욱 줄이고 성능을 개선한 모델을 지속적으로 내놓고 있습니다.
그중 단연 주목을 받는 것은
Meta의 LLaMA
LLaMa는 왜 주목을 받고 있을까요?
LLaMA 와 ChatGPT 의 차이점은?
이제 ChatGPT 뿐만 아니라 다양한 대규모 언어모델 기술을 이해하고
현업에서 활용할 수 있는 경험은 앞으로 더욱더 중요해질 것입니다.
그래서, 준비했습니다!
IT 대기업 AI 엔지니어가 LLaMa 기술을 활용한 프로젝트 구현부터
Fine-tuning 까지 이 강의 하나로 모두 알려드립니다.
수강 후 3가지를 얻을 수 있습니다.
Point 1
Meta AI의 언어모델 LLaMa의
기술적 구성과 핵심 개념을 파헤치기
생성 언어모델의 기본 개념 및 종류와 함께 Meta AI에서 직접 개발한
대규모 언어모델 LLaMa에 대해 살펴봅니다.
Point 2
Distributed Training & Instruction modeling 통한
LLaMa 와 Chat GPT 기술 분석하기
대규모 생성언어 모델 훈련 분산학습 (Distributed training)과 Intruction Modeling을 통해
Meta AI의 LLaMa 와 Open AI 에서 개발한 Chat GPT의 핵심 기술과 개념을 학습해봅니다.
-
data parallel을 통한 multi-GPU 학습
-
Deepspeed ZeRO 알고리즘을 통한 메모리 efficient 학습
-
자동으로 만들어진 Instructon 데이터들로
해당 task를 모두 수행할 수 있도록 학습 -
Instruction tuning 통한 NLP task 및
Natural Language Instructions 예시 학습
Point 3
LLaMa를 활용한 Fine tuning 프로젝트 실습하기
대규모 언어모델 LLaMa 를 활용하여
언어 모델 학습, 분산 학습, 명령어 타입 대화 모델 학습 등을 위한
Fine tuning 모델인 Alpaca를 통해 실습 프로젝트를 실습해봅니다.
Alpaca와 같은 Fine tuning은 특정 작업, 도메인에 특화된 추가 학습데이터로
사전 학습된 언어모델의 매개변수를 업데이트함으로써 정확하고 높은 출력 생성이 가능합니다.
ChatGPT Fine tuning 모델인 Alpaca 를 활용하여
영어 챗봇 어플리케이션을 직접 만들어볼 수 있습니다.
*본 실습을 위한 번역 자막이 별도로 제공되지 않습니다
강사님 소개
현) 국내 대형 IT 서비스 회사에서 머신러닝 엔지니어로 재직
전) LG CNS AI보안 분야 자연어처리 엔지니어로 근무
수강하시면 좋을까요?
• NLP 엔지니어 취업을 희망하는 학부생 및 대학원생
• 최근 Generative AI 및 NLP 기술
선수지식이 있을까요?
• huggingface 와 분산학습법에 대한 지식이 있으면 더 좋습니다.
• huggingface (transformers)
-
상세 커리큘럼.
자세한 커리큘럼 및 내용은 여기서 확인하세요!
커리큘럼
대규모 언어 모델 LLaMa 의 원리와 기술에 대해 살펴보고,
Fine tuning 을 통한 모델 실습 및 어플리케이션을 배울 수 있습니다.
Part 1. Generative AI - Language models
Part 2. Instruction modeling and RL from human feedback
Part 3. Distributed training
Part 4. LLaMa + Instruction = Alpaca
Part 5. Alpaca, ChatGPT 활용 + GPT-4