올인원 패키지 : 논문 구현과 실험으로 배우는 딥러닝 모델 성능 최적화 with SSL & XAI
AI Paper :
논문 구현과 실험으로 배우는
딥러닝 모델 성능 최적화
With SSL & XAI
-
최신 SSL & XAI 구현
어떠한 Task 상황에서도 모델을 분석하고 학습할 수 있는 SSL & XAI
-
총 10개 논문 리뷰
논문에서 핵심만 쏙쏙 리뷰하며 즉각적으로 코드 구현 및 실무 적용
-
Next level을 원하는 딥러너에게 필수!
실제 개발에 필요한 오픈소스 활용법부터 최신 알고리즘 이해를 통해 스킬 up
기존 AI·ML의 모델의 문제는 학습에 사용되는 라벨링의 샘플이 적어
감독·강화 학습은 많은 샘플과 실험을 요구하나
자기지도학습(SSL)은 러닝 의존성을 줄이고 기계들은 SSL을 통해
상식을 습득해 나갈 것이다.
by Yann André LeCun (얀 르쿤)
“ 이 강의는 논문을 실무에 적용하며 어려움을 느낀 분들을 위한 강의입니다. ”
”실무에서 인공지능 프로덕트를 개발하며 문제를 겪고 있는 여러분을 위해
Empirical research paper의 내용을 기반으로
구성하였습니다.
실무 경험 노하우와 인공지능·딥러닝 엔지니어들이 해결해야 하는
연구 문제를 반영하여 논문을 리뷰하고
코드로 구현하는
콘텐츠를 제공해 드립니다."
핵심 트렌드와 논문의 아이디어를 통해 실제적인 연구 문제에 대한 다양한 해결방안을 제공합니다.
소스코드 템플릿까지 제공하여 손 쉽게 각자의 도메인에 핸즈온으로 적용이 가능합니다.
강사의 SSL & XAI 연구 경험을 기반으로 문제 해결에 대한 노하우를 습득할 수 있습니다.
인공지능 현업 종사자들의 경력별 처한 문제 상황
그러나 딥러닝 논문 코드 구현 공부를 하면?
이렇게 달라질 수 있습니다.
오픈소스를 현업에 적용하는 것 조차 어려운 주니어 엔지니어부터
최신 기술 동향을 빠르게 파악해야 하는 관리자 엔지니어까지
이 강의 하나로 다양한 컴퓨터 비전 논문을 구현해보세요!
이 강의는 Image Classification 분야에서
Model Improvement & Analysis에 관한
SSL & XAI 논문을 리뷰하고 코드로 직접 구현합니다.
3 STEP으로 끝내는 SSL & XAI!
총 10개의 논문 을 구현해봅니다.
강의 미리 엿보기 👇
Self Supervised Learning
Self-Supervised Learning의 모든 SOTA 모델로
데이터의 정보를 최대한 활용하여 모델의 성능을 향상시켜봅니다.
[1] SSL이 왜 필요하게 되었는지에 대한 이유와 장점에 대해 알아봅니다.
[2] 디코더 없이 스스로 학습해봅니다.
[3] Negative sample을 어떻게 다뤄야 할지 학습해봅니다.
[4] Positive sample 만으로 SSL을 진행해봅니다.
[5] Asymmetric 구조만으로 SSL을 진행해봅니다.
[6] Negative sample과 Momentum encoder를 사용하지 않고 SSL을 진행해봅니다.
Self-Supervised Learning의
실무 적용 사례
Class Activation Mapping (XAI)
실제 연구에서 신뢰할 수 있는 결과를 만들기 위한 방법론인 CAM을 배우고
실험을 통해 모델을 분석하는 법을 배워봅니다.
모델을 설명해야 하는 이유
· 그래서 모델의 신뢰도가 매우 필요한 도메인(의료, 자율주행차 등)에서는 성능 뿐만 아니라 모델에 대한 분석을 XAI 기술을 활용하여 분석하게 됩니다.
GAP을 이용한 모델 분석 - Class Activatiopn Mapping(CAM)
· Classfication 모델이 예측에 있어 어떤 영역에 집중하고 있는지 분석 가능하여 모델의 편향성 체크와 ground truth와 다른 답을 내더라도 어떤 영역을 통해 그러한 결정을 내렸는지 분석이 가능하게 됩니다.
· 또한 Image level label로 학습한 모델의 CAM 출력 시 object를 localization하는 것을 확인할 수 있는데 이를 통해 Weakly-Supervised Learning에 활용 가능합니다.
GAP이 없는 모델을 설명하는 방법 - Gradient-weighted CAM(Grad-CAM)
· Gradient는 backpropagation을 통해 간단히 구할 수 있어 거의 모든 CNN 모델에 적용이 가능합니다.
Multi Object를 잘 보는 방법 - Gradient-weighted CAM ++(Grad-CAM ++)
· 이를 해결하기 위해 2nd order gradient를 이용한 CAM으로 object 크기에 대한 normalization term이 들어가 수가 많거나 크기가 큰 object에 대한 CAM이 더 확장되어 나타납니다.
· 또한 2nd order gradient를 backpropagation으로 바로 구하기 힘들어 이를 간단화하여 first order gradient를 이용한 구현을 해 보게 됩니다.
모델의 내부에서 발생하는 일 - Relevance CAM
· 하지만 이러한 결과는 Shattered gradient problem으로 인해 생기는 문제로, 실제 Shallow layer의 feature extracting 능력이 부족하여 얻게 된 결과는 아닙니다.
· Relevance CAM은 Relevance propagation을 통해서 activation map에 weight를 부여하는데, Relevance는 Gradient와 달리 Shattered gradient problem이 발생하지 않게 됩니다.
· 따라서 Relevance CAM은 모델 내부의 어떤 Layer든 분석 가능하며, Revelance CAM을 통해 분석을 진행하고 ResNet50의 경우도 shallow layer에서 class semantic한 정보가 추출됨을 확인하게 됩니다.
Class Activation Mapping의
실무 적용 사례
Weakly Supervised Learning
CAM을 이용한 모델 분석에서 벗어나 Segmentation label없이 모델을 학습하는
Weakly Supervised Learning에 대해서 배워봅니다.
[1] CAM을 이용해 모델 분석을 넘어 Weakly Supervised Segmentation을 적용해봅니다.
* 본 페이지에 나와 있는 이미지들은 각 게재된 논문과 analyticsindiamag.com 에서 발췌하였습니다.
-
상세 커리큘럼.
자세한 커리큘럼 및 내용은 여기서 확인하세요!
SSL & XAI 전공 연구원님의 강의 & 질의 응답
수업 내용부터 실습까지 잘 모르는 내용이 있으면 Slack 질의응답 채널에 자유롭게 질문하세요.
SSL & XAI 전공 연구원님께서 직접 답변해드립니다!
(교육 내용 범주 안에서 질의응답, 2022년 9월 5일 ~ 2024년 7월 25일까지 적용)
잠깐!
수강하면 좋을까요?
사전 지식이 필요한가요?
• 딥러닝 프레임워크에 대한 이해 (ex. Python, Pytorch, etc..)
• Colab 사용 방법에 대한 이해
진행되나요?
* 실습 내용(예제, 실습) 및 클립시간, 개수는 추후 일부 수정될 수 있습니다.
[이력]
ㆍ현) 인공지능대학원 박사 과정
[프로젝트 경력]
ㆍ삼성 혁신 AI과제 Self-Supervised Learning 모델 개발
ㆍ정부 NRF 중견 과제 Self-Supervised Learning 모델 개발
해당 강의는 사전 예약 상품입니다.
사전 예약 상품은 아래 오픈 일정에 따라 영상이 순차적으로 제작되어 오픈됩니다.
(강의 1회 결제시 모든 영상을 평생 반복 수강 가능합니다.)
-----
전체 공개 : 22년 9월 5일 (월)