Attention











올인원 패키지 Online.

20개 실습으로 익히는 Transformer
: 시퀀스 데이터 딥러닝

  • Point #01
    본 이해부터 시작해 복합적
    응용까지 20가지 실습

    RNN, LSTM, GRU 등 기본 모델을 익히는 것은 물론 BiLSTM, mLSTM에 더불어 Attention, Transformer 까지 20가지 실습으로 시퀀스 데이터 딥러닝을 마스터 합니다.

  • Point #02
    이론을 이해하는 것을 넘어
    어떻게 구현하고, 적용하는지에 집중

    모델의 탄생 배경과 이론적 내용을
    이해하는 것을 넘어 모델을 어떻게 구현하고, 어떻게 적용할 수 있는지에 집중하여
    수업을 진행합니다.

  • Point #03
    NLP, 시계열, 딥러닝 전문
    구글 현직 엔지니어의 직강

    현재 구글에서 자연어처리부터 시계열분석,컴퓨터비전에 이르기까지 응용 머신러닝 엔지니어링을 연구하는 Google Experiments엔지니어의 직강 입니다.

최저 가격 마감까지 남은 시간
0 0시간 0 0 2022-09-30T23:59
(자동) (자동) (자동)
정가 (자동)
현재 판매가 (자동)
12개월 무이자 할부 시 (자동)

시퀀스 데이터 모델링의 모든 것을 학습합니다.

어떠한 문제를 마주하고, 어떠한 방법으로 문제를 해결해왔는지 지난 시퀀스 데이터 모델들의
발전 과정을 실습을 통해 확인하고, 앞으로 기대대는 모델을 그려봅니다.



언어나 시간과 관계된 시퀀스데이터는 기존 Neural Network이 해결하지 못하던 문제였으나 이를 RNN이 해결하였습니다.

이후 RNN의 기억 소실문제(Vanishing Gradient)를 해결하기 위해 LSTM이 나오고
이를 약간 경량화 시킨 GRU가 나왔습니다. 이를 RNN이 해결하였습니다.

본격적인 변화는 불과 몇 년전 Attention이란 개념이 등장해 모델을 향상시켰고
기존 RNN, LSTM기반의 Encoder-Decoder 모델을 뛰어 넘는
Transformer가 개발된 후 비약적인 성장을 했습니다. 이를 RNN이 해결하였습니다.

이후 Transformer에서 BERT, GPT 등 많은 모델이 나와 대세가 되고 있으며,
이는 자연어, 시계열 뿐만 아니라 이미지 관련 신경망에도 영향을 미쳐 이제 수 많은 하이브리드 모델이 나오며 빠른 속도로 발전하고 있습니다.

우리는 기본적인, RNN, LSTM부터 Attention을 적용한 다양한 모델들,
그리고 Transformer가 시계열, 자연어, 이미지 분야에서 어떤 영향을
미치고 있는지 20가지 실습을 통해서 배워 나가겠습니다.

RNN, LSTM, GRU, mLSTM, Bi-LSTM,
Attention, Transformer 까지 20가지 실습을 함께 진행 합니다.

다음 분들이 수강하시기에 좋습니다.🤔

  • ✏️ 선수학습정도

    해당 강의는 TensorFlow로 코드 가 작성되며, 구글 Colab에서 실습이 진행 됩니다. 다음 중 하나만 해당되면 수강이 가능합니다.

    · MNSIT 분류 수준의 과제를 Tensorflow로 해보신 분
    · 컴퓨터비전, 시계열, 자연어처리 중 하나의 분야에서 기초를 수강하신 분
    · 파이썬으로 함수나 클래스의 개념을 이해하고 실습해보신 분

    본 강의는 영어로 진행되며, 한글 자막이 제공됩니다.

  • 🔥 수업목표

    · 이 강의는 딥러닝 뉴럴 네트워크 강의로 그 중 시퀀스 데이터에 대한 강의 입니다. 뉴럴네트워크에 대해 좀 더 깊이 기반을 다지도록 합니다.
    · 시계열, 자연어처리, 시그널, 이미지 처리를 위한 시퀀스 데이터 모델을 깊이 있게 학습 하고 싶으신 분들에게 맞는 강의입니다.
    · RNN, LSTM을 충분히 이해하고 Attention과 Transformer를 확실히 이해하여 추후, 자연어, 시계열, 컴퓨터 비전 수업에 큰 도움이 되는 것을 목표로 합니다.
    · 멀티모달에 관심이 있으신 분들에게는 각 모달의 기본을 익히고 하이브리드 모델을 통해 멀티 모달을 이해하는 것에 도움이 되게 될 것입니다.
    · 이 수업의 가장 큰 목표는 트랜스포머 모델에 대한 확실한 이해입니다.



구글 현직 엔지니어
무하마드 칸과 함께 실습을 진행합니다.


‘딥러닝’ 분야에서 가장 연구가 활발히 되는 분야 중의 하나는 멀티모달 딥러닝이며,
시퀀스 딥러닝이 그 핵심 입니다.

지금까지 우리는 주로 유니모달로 학습을 해왔습니다. 이미지는 CNN, 시계열은 RNN 이런 식으로 하나의 모달 당 하나의 뉴럴 네트워크를 적용하는 방식이죠.

하지만 우리가 사는 진짜 세상에는 여러 모달이 동시에 전달 됩니다.
요리하는 영상을 TV에서 본다면,이미지, 텍스트, 오디오 등의 데이터가 전달되고,
TV가 전달 못하는 음식의 냄새까지 데이터에 포함되면 더 좋겠죠.

이 모든 것에 시퀀스 데이터가 더해집니다. 영상이란 이미지의 시퀀스 데이터이고,텍스트, 오디오 이 모든 것이 시간 별로 변하지요.


이 모든 것이 RNN / LSTM / GRU 등부터 시작해서 최근의 Transformer 까지 이어지는 계보입니다. 시퀀스 데이터에 대한 필수적인 것들을
저와 함께 실습을 통해 확실히 익히실수 있도록 도와드리겠습니다.
  • 무하마드는 머신러닝, AI 분야에서 가장 똑똑한 프로그래머 중 한 명입니다.
    다른 어떤 엔지니어보다 '생명과학' 분야와 같은 복잡한 주제를 완전히
    이해하고, 내면화하는 능력을 갖추고 있죠. 프로그래밍 중인 주제를 민첩하게 이해하는 무하마드의 능력은 '정확하고' '우아한' 프로그램을 만드는 데
    도움을 줍니다.


    니자르 아민 (써모 피셔 글로벌 디렉터)

  • 무하마드는 아주 환상적인 머신러닝 엔지니어입니다.
    그는 신경망 전반을 아우르며 엄청난 작업을 수행합니다.
    무하마드와 함께 한다는 것은 곧, 그의 전문 분야인 '딥러닝'
    을 함께 실습하며 마스터할 수 있는 기회일 것입니다.



    트레버 (아보다 엔지니어링 부사장)

저희는 이번 수업에서
Attention과 Transformer 에 특히 집중합니다.



“ 이제 트랜스포머의 시대가 오고 있습니다.”

"트랜스포머" 모델은 순차적인 데이터의 관계를
추적하여 의미를 학습하는"신경망"입니다.

트랜스포머 모델은 어텐션과 셀프 어텐션을 적용하여
시퀀스 시리즈의 멀리 떨어진 데이터 요소가 서로 영향을 미치고
의존하는 미묘한 방식을 감지합니다.

Google의 2017년 논문 “Attention Is All You Need” 에서
처음 소개된 트랜스포머는 현재까지 발명된 최신 모델 중 하나이자
가장 강력한 모델 중 하나입니다. 이제는 트랜스포머 AI라고
부르는 것이 머신 러닝의 발전을 주도하고 있습니다.

스탠포드대 연구원들은 2021년 8월 논문에서
트랜스포머를 "기초 모델" 이라고 불렀습니다.
왜냐하면 트랜스포머가 AI의 패러다임 전환을 주도한다고 보기 때문입니다.


즉, 트랜스포머 이전과 그 이후가 달라졌기 때문입니다.
  • Transformer 자세히 보기



    이제 트랜스포머 모델은 거의 실시간으로 텍스트와 음성을 번역하고, DNA의 유전자 사슬과 단백질의 아미노산을 이해하도록 돕고 있습니다.

    트랜스포머는 추세와 이상을 감지하여 사기를 방지하고 제조를 간소화하며 온라인 권장 사항을 제공하거나 의료 서비스를 개선할 수 있습니다.

    순차적 데이터인 텍스트, 이미지 또는 비디오 데이터를 사용하는 모든 애플리케이션은 트랜스포머 모델의 대상입니다.
    자율 주행에서 차량, 보행자의 움직임의 예측부터 검색, 번역기까지 트랜스포머는 CNN 및 RNN을 대체하고 있습니다.

    트랜스포머는 자기 지도 학습을 가능하게 했고 AI는 놀라운 속도로 뛰어올랐습니다.
    실제로 지난 2년 동안 게시된 AI에 대한 arXiv 논문의 70%가 트랜스포머를 언급합니다.
    이는 RNN과 CNN이 패턴 인식에 가장 인기 있는 모델이라고 보고한 2017년 IEEE 연구 결과가 5년만에 바뀌었음을 이야기 합니다.

    요즘 이슈가 되는 BERT, GPT, BLOOM, AlphaFold 그리고 최근 발표된 하이퍼파라미터 튜닝 프레임워크인 OptFormer까지 모두 트랜스포머 기반입니다.

    오늘날 많은 AI 엔지니어들이 1조 매개변수 트랜스포머와 이를 위한 애플리케이션을 개발하고 있습니다.
    작년에 Google은 최초의 1조 매개변수 모델 중 하나인 Switch Transformer를 설명했습니다.

    이제 트랜스포머의 시대가 오고 있습니다.

    이 모든 것들이 RNN에서 시작되었고, 이어서 LSTM, 이어서 트랜스포머를 낳게 되었습니다.
    이제는 기본적인 RNN, LSTM을 쓰지는 않으나
    하이브리드 모델은 더욱 발전하고 있으며 어텐션과 트랜스포머는 자연어 분야 뿐만 아니라
    이미지, 영상, 음악, 시계열, 의료, 생물 등 수 많은 분야에서 사용되고 있으며 뉴럴 네트워크를 배우는 사람들에게 필수가 되고 있습니다

RNN부터 Attention, Transformer 까지
총 6개 파트로 나누어 진행합니다.

  • 상세 커리큘럼.

    자세한 커리큘럼 및 내용은 여기서 확인하세요!

해당 강의는 사전 예약 구매 상품입니다.

사전 예약 상품은 아래 오픈 일정에 따라 영상이 순차적으로 제작되어 오픈됩니다.
(강의 1회 결제시 모든 영상을 평생 반복 수강 가능합니다.)

-----

1차 공개 : 22년 10월 28일(금)
2차 공개 : 22년 11월 25일 (금)
3차 공개 : 22년 12월 23일 (금)
전체 공개 : 23년 01월 13일 (금)

PyTorch

[이벤트 주의사항 및 환불규정 ]

이벤트 주의사항 및 환불규정 바로가기 ☞

수강료.

  • 20개 실습으로 익히는 Transformer: 시퀀스 데이터 딥러닝

    현재 정가 대비 63% 할인 중!
    9월 30일 금요일 자정 까지

    정가 499,000원
    현재 판매가 181,000원

    12개월 무이자 할부 시 월 15,083원

국내 8개 카드사 12개월 무이자 할부 지원! (간편 결제 제외)

  • 삼성카드
  • 신한카드
  • 롯데카드
  • 현대카드
  • 하나카드
  • BC카드
  • KB국민은행
  • NH농협카드

※ BC카드의 경우, 비씨(페이북)을 선택하여 결제시에만 12개월 무이자 할부가 가능합니다.
(BC계열 – 우리/제일/기업/대구/경남/부산/광주/수협/전북/제주/신협)