딥러닝 모델

AI Paper :
논문 구현과 실험으로 배우는
딥러닝 모델 성능 최적화
With SSL & XAI


  • 최신 SSL & XAI 구현

    어떠한 Task 상황에서도 모델을 분석하고 학습할 수 있는 SSL & XAI

  • 총 10개 논문 리뷰

    논문에서 핵심만 쏙쏙 리뷰하며 즉각적으로 코드 구현 및 실무 적용

  • Next level을 원하는 딥러너에게 필수!

    실제 개발에 필요한 오픈소스 활용법부터 최신 알고리즘 이해를 통해 스킬 up

코스 프로모션 배너 전용입니다.
0일 0시간 0분 0초 코스 프로모션 배너 전용입니다.

기존 AI·ML의 모델의 문제는 학습에 사용되는 라벨링의 샘플이 적어
감독·강화 학습은 많은 샘플과 실험을 요구하나
자기지도학습(SSL)은 러닝 의존성을 줄이고 기계들은 SSL을 통해
상식을 습득해 나갈 것이다.

by Yann André LeCun (얀 르쿤)

“ 이 강의는 논문을 실무에 적용하며 어려움을 느낀 분들을 위한 강의입니다. ”

”실무에서 인공지능 프로덕트를 개발하며 문제를 겪고 있는 여러분을 위해
Empirical research paper의 내용을 기반으로 구성하였습니다.

실무 경험 노하우와 인공지능·딥러닝 엔지니어들이 해결해야 하는
연구 문제를 반영하여 논문을 리뷰하고 코드로 구현하는 콘텐츠를 제공해 드립니다."

핵심 트렌드와 논문의 아이디어를 통해 실제적인 연구 문제에 대한 다양한 해결방안을 제공합니다.

소스코드 템플릿까지 제공하여 손 쉽게 각자의 도메인에 핸즈온으로 적용이 가능합니다.

강사의 SSL & XAI 연구 경험을 기반으로 문제 해결에 대한 노하우를 습득할 수 있습니다.

인공지능 현업 종사자들의 경력별 처한 문제 상황

딥러닝
머신러닝
논문구현
SOTA

그러나 딥러닝 논문 코드 구현 공부를 하면?
이렇게 달라질 수 있습니다.

오픈소스를 현업에 적용하는 것 조차 어려운 주니어 엔지니어부터
최신 기술 동향을 빠르게 파악해야 하는 관리자 엔지니어까지
이 강의 하나로 다양한 컴퓨터 비전 논문을 구현해보세요!

SSL

이 강의는 Image Classification 분야에서
Model Improvement & Analysis에 관한
SSL & XAI 논문을 리뷰하고 코드로 직접 구현합니다.

XAI
CAM
딥러닝모델구현
모델성능향상

3 STEP으로 끝내는 SSL & XAI!

총 10개의 논문 을 구현해봅니다.

AI논문구현

강의 미리 엿보기 👇

Self Supervised Learning

Self-Supervised Learning의 모든 SOTA 모델로
데이터의 정보를 최대한 활용하여 모델의 성능을 향상시켜봅니다.

[1] SSL이 왜 필요하게 되었는지에 대한 이유와 장점에 대해 알아봅니다.

코드구현
논문코드
딥러닝모델
머신러닝모델
컴퓨터비전

[2] 디코더 없이 스스로 학습해봅니다.

ComputerVision

[3] Negative sample을 어떻게 다뤄야 할지 학습해봅니다.

논문리뷰

[4] Positive sample 만으로 SSL을 진행해봅니다.

BYOL

[5] Asymmetric 구조만으로 SSL을 진행해봅니다.

SSL모델

[6] Negative sample과 Momentum encoder를 사용하지 않고 SSL을 진행해봅니다.

XAI 모델

Self-Supervised Learning의
실무 적용 사례

Class Activation Mapping (XAI)

실제 연구에서 신뢰할 수 있는 결과를 만들기 위한 방법론인 CAM을 배우고
실험을 통해 모델을 분석하는 법을 배워봅니다.

모델을 설명해야 하는 이유

· 딥러닝은 성능이 매우 뛰어나지만, 그 계산과정이 매우 복잡해 모델이 어떤 방식으로 출력을 계산하는 지에 대한 설명이 부족합니다.
· 그래서 모델의 신뢰도가 매우 필요한 도메인(의료, 자율주행차 등)에서는 성능 뿐만 아니라 모델에 대한 분석을 XAI 기술을 활용하여 분석하게 됩니다.

GAP을 이용한 모델 분석 - Class Activatiopn Mapping(CAM)

논문 : Learning Deep Features for Discriminative Localization (2016, CVPR)

· CAM의 첫 논문으로 CNN-based network 중 GAP를 이용한 모델에 적용 가능한 딥러닝 모델 분석 기법입니다.
· Classfication 모델이 예측에 있어 어떤 영역에 집중하고 있는지 분석 가능하여 모델의 편향성 체크와 ground truth와 다른 답을 내더라도 어떤 영역을 통해 그러한 결정을 내렸는지 분석이 가능하게 됩니다.
· 또한 Image level label로 학습한 모델의 CAM 출력 시 object를 localization하는 것을 확인할 수 있는데 이를 통해 Weakly-Supervised Learning에 활용 가능합니다.

GAP이 없는 모델을 설명하는 방법 - Gradient-weighted CAM(Grad-CAM)

논문 : Visual Explanations From Deep Networks via Gradient-Based Localization (2017, ICCV)

· CAM 방법론은 CNN 모델이 GAP Layer을 이용해야 한다는 구조적 제한을 가지고 있습니다. 이러한 제한을 없애기 위해 Grad-CAM은 Gradient를 이용하여 activation map에 class weight를 부여합니다.
· Gradient는 backpropagation을 통해 간단히 구할 수 있어 거의 모든 CNN 모델에 적용이 가능합니다.

Multi Object를 잘 보는 방법 - Gradient-weighted CAM ++(Grad-CAM ++)

논문 : Improved Visual Explanations explanations for deep convolutional networks (2018, IEEE)

· Grad-CAM ++ 이전에는 CAM이 Object의 전반적인 부분을 Localization하지 못하는 경우가 많았습니다.
· 이를 해결하기 위해 2nd order gradient를 이용한 CAM으로 object 크기에 대한 normalization term이 들어가 수가 많거나 크기가 큰 object에 대한 CAM이 더 확장되어 나타납니다.
· 또한 2nd order gradient를 backpropagation으로 바로 구하기 힘들어 이를 간단화하여 first order gradient를 이용한 구현을 해 보게 됩니다.

모델의 내부에서 발생하는 일 - Relevance CAM

논문 : Your Model Already Knows Where To Look (2021, CVPR)

· 기존의 CAM은 shallow layer에서 성능이 좋지 않기에 semantic한 정보를 추출하지 못하고 분석을 진행했었습니다.
· 하지만 이러한 결과는 Shattered gradient problem으로 인해 생기는 문제로, 실제 Shallow layer의 feature extracting 능력이 부족하여 얻게 된 결과는 아닙니다.
· Relevance CAM은 Relevance propagation을 통해서 activation map에 weight를 부여하는데, Relevance는 Gradient와 달리 Shattered gradient problem이 발생하지 않게 됩니다.
· 따라서 Relevance CAM은 모델 내부의 어떤 Layer든 분석 가능하며, Revelance CAM을 통해 분석을 진행하고 ResNet50의 경우도 shallow layer에서 class semantic한 정보가 추출됨을 확인하게 됩니다.

Class Activation Mapping의
실무 적용 사례

딥러닝 실무

Weakly Supervised Learning

CAM을 이용한 모델 분석에서 벗어나 Segmentation label없이 모델을 학습하는
Weakly Supervised Learning에 대해서 배워봅니다.

[1] CAM을 이용해 모델 분석을 넘어 Weakly Supervised Segmentation을 적용해봅니다.

딥러닝 방법론

* 본 페이지에 나와 있는 이미지들은 각 게재된 논문과 analyticsindiamag.com 에서 발췌하였습니다.

  • 상세 커리큘럼.

    자세한 커리큘럼 및 내용은 여기서 확인하세요!

    자세히 보기 »

SSL & XAI 전공 연구원님의 강의 & 질의 응답

딥러닝 강의

수업 내용부터 실습까지 잘 모르는 내용이 있으면 Slack 질의응답 채널에 자유롭게 질문하세요.
SSL & XAI 전공 연구원님께서 직접 답변해드립니다!

(교육 내용 범주 안에서 질의응답, 2022년 9월 5일 ~ 2024년 7월 25일까지 적용)

잠깐!
어떤 분들이
수강하면 좋을까요?
• 인공지능 분야에 종사하고 있는 주니어·시니어 딥러닝 엔지니어, 인공지능을 비즈니스적 관점에서 풀어 나가고 싶은 C-Level에게 추천합니다.
학습을 위한
사전 지식이 필요한가요?
• 기본적인 딥러닝·인공지능 개념과 이론 등에 대한 이해
• 딥러닝 프레임워크에 대한 이해 (ex. Python, Pytorch, etc..)
• Colab 사용 방법에 대한 이해
실습은 어떤 환경에서
진행되나요?
• Python Anconda & Google Colab 환경에서 실습합니다.

* 실습 내용(예제, 실습) 및 클립시간, 개수는 추후 일부 수정될 수 있습니다.

J 강사님

[이력]
ㆍ현) 인공지능대학원 박사 과정

[프로젝트 경력]
ㆍ삼성 혁신 AI과제 Self-Supervised Learning 모델 개발
ㆍ정부 NRF 중견 과제 Self-Supervised Learning 모델 개발
코스 프로모션 배너 전용입니다.
0일 0시간 0분 0초 코스 프로모션 배너 전용입니다.
(자동)
정가 (자동)
현재 판매가 (자동)
12개월 무이자 할부 시 (자동)
최저가로 수강신청
해당 강의는 사전 예약 상품입니다.

사전 예약 상품은 아래 오픈 일정에 따라 영상이 순차적으로 제작되어 오픈됩니다.
(강의 1회 결제시 모든 영상을 평생 반복 수강 가능합니다.)

-----

전체 공개 : 22년 9월 5일 (월)

이 강의도 추천해요.

수강료.

국내 8개 카드사 12개월 무이자 할부 지원! (간편 결제 제외)

  • 삼성카드
  • 신한카드
  • 롯데카드
  • 현대카드
  • 하나카드
  • BC카드
  • KB국민은행
  • NH농협카드

※ BC카드의 경우, 비씨(페이북)을 선택하여 결제시에만 12개월 무이자 할부가 가능합니다.
(BC계열 – 우리/제일/기업/대구/경남/부산/광주/수협/전북/제주/신협)