센서퓨전

현실 세상의 TDD : 안정감을 주는 코드 작성 방법 by 이규원

테슬라, 실리콘밸리를 거치며
자율주행 업계에서만 15년 근무한 경험으로
가이드를 주는 강의를 만들고 싶었어요.
저도 주니어 때 아무것도 몰라서 정말 어려웠거든요.

먼저 현재 자율주행에 사용되고 있는
기술스택을 소개해드리며 전체적인 그림을 그려볼 거예요.
그리고 아직 시중에 강의로 출시되지 않은
센서퓨전 기술에 대해 비중 있게 다뤄보려 합니다.

더불어 실제로 채용을 진행하며
주니어들에게 꼭 필요하다고 생각했던
기본 이론들도 실무용 지식으로
타이트하게 설명해드립니다.

자율주행 커리어 준비를 위해 쉽게 방향을 잡을 수 있도록
그동안 고민하며 배웠던 점들을
컴팩트하게 전달해드리겠습니다.



by 팬텀 AI CEO 조형기

테슬라 출신 조형기가 알려주는 자율주행 A to Z 가이드
게다가 국내 최초 센서퓨전 기술까지!

최근에 자율주행 분야가 각광받고 있지만
아직 경험, 노하우의 공유는 충분하지 않습니다.

그래서 자율주행에 관심 있으신 분들
공부하고 싶어도 정보 찾기 어려우셨죠?

테슬라 오토파일럿 핵심 기술인 비전 시스템 프로토타입 개발에 참여한 경험으로
현재는 수백억 투자를 받은 실리콘밸리 팬텀 AI의 CEO가 된
조형기가 자율주행의 모든 것을 알려드립니다.

카네기멜론대 박사 때부터 꾸준히 연구해온 센서퓨전 기술과 베이스가 되는 기본 이론들,
평소에 알기 어려웠던 실리콘밸리의 자율주행 기술 구현 방법과
실리콘밸리 개발문화에 대한 정보까지 모두 공개합니다.

조형기에게 자율주행을 배우면
최신기술과 필수이론 모두 마스터할 수 있습니다.

다양한 센서의 정보를 결합해, 자율 주행에 필요한 정보만 추려내는 기술을 배웁니다.

보행자 인식, 차선 인식 등 자율주행 기술에 필요한 칼만필터 개념을 배웁니다.

자율주행 알고리즘을 설계하고 개발하기 위해 필요한 기본 이론을 배웁니다.

▼ 강의 미리보기 영상 ▼

Learning Point

자율주행 레벨이 올라갈수록
필요한 센서 수는 늘어나고 더 높은 기술력이 요구되죠!

지금 자율주행 기술 개발 속도가 굉장히 빨라서,
센서 시장도 급속도로 크고 있어요.

특히 최근 이 센서들을 융합하는
센서퓨전 기술이 주목받고 있습니다.
자율주행은 결국 어플리케이션 제작이거든요.

자동차 주변의 물체들을 잘 트랙킹하기 위해
장단점이 서로 다른 센서들을
어떻게 잘 융합할 것인지 공부하는 것은
자율주행 엔지니어에게 필수입니다.

안전한 자율주행을 위한 핵심 기술,
센서퓨전을 The RED에서 최초로 만나보세요.

조형기가 알려주는 센서퓨전 기술이 궁금하다면 클릭!


다른 종류의 센서의 장점을 잘 융합하여 자동차의 주변 물체들을 실시간으로 추적하는 기술을 말합니다.

예를 들어 라이다 센서는 물체까지의 거리를 정확하게 측정할 수 있지만 그 물체가 어떤 물체인지 인지하는 것은 쉽지 않습니다. 반면에 카메라는 물체까지의 거리를 아주 정확하게 측정할 수는 없지만 그 물체가 어떤 종류인지는 잘 알아낼 수 있습니다. 이렇게 각 센서의 장점을 잘 융합하여 보다 정확하게 주변의 물체들을 트랙킹할 수 있게 됩니다.

자율주행 기술에서 자동차 사고를 막기 위해, 여러 가지 센서로 오탐확률을 줄이는 것이 필수입니다!
그러나 센서를 많이 사용하면 비용이 비싸지죠.

조형기는 팬텀 AI에서 저가 칩에 딥러닝 알고리즘 기반의 카메라와
차량용 레이다를 퓨전하는 효율적인 센서퓨전을 구현하여
현재 업계 1위 모빌아이보다 가격은 저렴하고 성능은 뛰어난 자율주행 솔루션을 발견했습니다.

이 강의에서는 조형기가 카네기멜론대 박사 과정에서 다루었던 센서퓨전 주제를
테슬라, 팬텀 AI의 실무에 적용해보며 얻게 된 지식을 알려드립니다.


업계 15년 전문가 조형기의 인사이트 가득한 센서퓨전 노하우를 배워보세요!


센서퓨전 기술을 구현하기 위해 필요한 개념이 바로 Kalman filter입니다.
보행자 인식, 차선 인식 등에 이용되는 Kalman filter의 원리는 무엇일까요?

RED에서 Kalman filter를 센서퓨전 기술에 활용하는
조형기의 특별한 통찰을 만나보세요!

조형기가 알려주는 Kalman filter 개념이 궁금하다면 클릭!


Kalman filter는 실시간으로 들어오는 센서 데이터를 이용하여 최적의 시스템 상태 변수를 추정하는 알고리즘입니다.

알고리즘은 예측(Prediction)과 업데이트(Update)의 두 단계로 이루어집니다. 예측 단계에서는 현재 상태 변수의 값과 정확도를 시스템 모델에 기반하여 예측합니다. 현재 상태 변수의 값이 센서를 통해 실제로 측정된 이후, 업데이트 단계에서는 이전에 추정한 상태 변수를 기반으로 예측한 측정치와 실제 측정치의 차이를 반영해 현재의 상태 변수를 업데이트합니다. 이런 Kalman filter는 컴퓨터 비전, 로봇 공학, 항공우주 등의 여러 분야에 사용되는 중요한 개념입니다.


센서퓨전과 Kalman filter의 가장 밑받침이 되는 기본기 강의까지!

자율주행의 많은 알고리즘들을 설계하고 개발하기 위해
꼭 선행되어야 하는 선형대수, 확률이론, 추정이론에 대한 깊은 이해까지 도와드립니다.

선형대수(Linear Algebra)

선형 시스템의 특성을 이해하기 위해 선형대수의 핵심 개념이 어떻게 활용되는지 명쾌하게 설명해드립니다. 확률이론에 대한 이해와 더불어 Kalman Filter를 전반적으로 이해할 수 있게 도와드립니다.

확률이론(Probability Theory)

확률의 기본 지식과 랜덤 변수/랜덤 벡터에 대한 이해를 도와드리고, 선형 랜덤 시스템이 어떻게 형성되는지 알려드립니다.

추정이론(Estimation Theory)

대표적 4가지 추정 알고리즘(estimator)에 대한 큰 그림을 설명하고, 재귀적 MMSE 알고리즘인 Kalman Filter를 구현할 수 있게 도와드립니다.

Top of Top

테슬라부터 팬텀AI 창업까지
자율주행 엔지니어, 조형기

수백억 투자를 받은 실리콘밸리 스타트업 팬텀 AI의 CEO

테슬라 자율주행 시스템 오토파일럿 개발팀의 초기 멤버

테슬라의 자율주행 시스템 오토파일럿 개발팀의 초기 멤버인 조형기는 테슬라 입사 전 미국 카네기멜론대에서도 자율주행을 연구했습니다.처음에는 모빌아이의 컴퓨터 비전(컴퓨터를 이용해 인간의 시각적 인식 능력 일반을 재현하는 기술로 자율주행의 원천 기술로 꼽힘) 알고리즘을 썼던 테슬라가 자체 알고리즘을 개발하고 양산하는 과정에 참여하면서 자신감을 얻고, 박사 때부터 간절히 바라던 창업의 꿈을 이루었습니다. 현재는 수백억 투자를 받은 실리콘밸리 스타트업 팬텀 AI의 CEO입니다.


• 2017 ~ 현재
팬텀AI / CEO

- 팬텀AI의 Deep Learning 기반의 핵심 컴퓨터 비전 알고리즘들의 초기 프로토타입을 설계하고 개발

- 팬텀AI의 센서퓨전 시스템의 프로토타입 설계에 기여

- CEO로서 회사의 개발의 방향과 비전을 제시

• 2014 ~ 2016
테슬라 / Senior CV Engineer

- 테슬라 센서퓨전 시스템 개발을 위한 초기 작업 수행

- 모빌아이 카메라와 보쉬의 레이다 센서,
IBEO의 Lux3 라이다 센서 등을 포함한
센서퓨전 프로토타입 시스템을 개발

- 테슬라 오토파일럿의 핵심 기술인
테슬라 비젼 시스템의 최초 프로토타입 개발에 참여

- 테슬라 고유의 딥러닝 모델을 NVIDIA의 칩에서
실시간으로 운영되는 시스템을 개발
• 2010 ~ 2014
카네기멜론대 / 박사과정

- 카메라뿐 아니라 자율주행에 활용되는
LiDAR와 Radar센서들을 융합하는
센서퓨전 기술을 Object Tracking 문제에 적용하는 연구를 수행

- "A Multi-Sensor Fusion System for Moving Object Detection
and Tracking in Urban Driving Environments" 논문,
로봇틱스 컨퍼런스인 ICRA 2014에서 발표
(2021년 6월 현재 Google Scholar 인용횟수: 384)

• 2008 ~ 2010
카네기멜론대 / 석사과정

- 자율주행 영역에서 카메라가 많이 활용되지 않을 당시에
카메라를 활용하여 보행자/차량등의 물체를 검출하는 프로젝트를 수행

- 컴퓨터비젼의 검출 기술 (Object Detection)을
자율주행에 적용하는 연구를 수행

- "Vision-based 3D Bicycle Tracking using Deformable Part Model
and Interacting Multiple Model Filter,” 논문,
로봇틱스 컨퍼런스인 ICRA 2011에서
Best Automation Paper Award – Finalist 수상

RED Story

시야가 넓어지는
조형기의 자율주행 큰 그림

자율주행의 현재와 미래

테슬라부터 실리콘밸리까지 자율주행 업계에서만 15년 근무한 조형기의 통찰을 공유합니다. 자율주행 산업이 어떻게 형성되어 갔는지에 대한 이야기와 자율주행의 핵심 킬러 어플리케이션은 무엇인지, 자율주행의 미래는 어떻게 흘러갈 것인지에 대해 예측합니다.

실리콘밸리에서 자율주행 기술을 구현하는 방법

실리콘밸리에서는 어떻게 자율주행 기술을 개발하는지 실제 테슬라의 오토파일럿 개발 사례로 설명합니다. 테슬라에서의 경험을 통해 개발 과정에서 선택과 집중이 왜 필수이고, 프랙티컬하게 기술을 개발하는 문화가 왜 중요한지에 대한 생각을 공유합니다.

자율주행 엔지니어가 배워야 할 기술 역량

자율주행 개발을 꿈꾸는 주니어 엔지니어들에게 채용 시 가장 강조하는 것은 기본 역량입니다. 소프트웨어에 대한 경험(프로그래밍, 코딩), 선형대수, 확률이론과 추청이론의 기본 이론을 실무에 맞게 타이트하게 정리해서 알려드립니다. 더불어 최신 기술인 센서퓨전 기술과 베이스가 되는 개념인 Kalman Filter까지 다룹니다.

주니어를 위한 커리어 조언

다양한 커리어를 거쳐온 조형기의 솔직담백한 인생 이야기를 들을 수 있습니다. 수많은 선택의 과정에서 특히 도움이 되었던 것들을 주니어 엔지니어들에게 전달합니다. 주니어 엔지니어들이 쉽게 커리어를 설계할 수 있도록 도움을 주고자 합니다.

테슬라 출신, 팬텀 AI 대표 조형기 님의 이야기를
지금 최저가로 만나보세요!!
(자동) (자동) (자동)
정가 (자동)
현재 판매가 (자동)
12개월 무이자 할부 시 (자동)
상세 커리큘럼

Part1. 자율주행과 모빌리티 산업의 Now & Future

  1. 과거는 모바일의 혁명이었다면 요즘은 모빌리티 혁명의 시대라는 말을 자주 들을 수 있습니다. 하루하루 빠르게 변하고 있는 자율주행과 모빌리티 산업이 어떤 역사를 거쳐 현재에 이르게 되었는지 살펴보고 현재의 주된 킬러 어플리케이션들을 이야기합니다. 각 어플리케이션의 숨은 비즈니스 논리는 무엇인지 알아보고, 자율주행 산업의 미래에 대한 조형기의 생각을 들어봅니다.

Part2. 자율주행에 활용되는 기술스택

  1. 실리콘밸리의 자율주행 스타트업에서는 어떤 기술 스택을 통해 자율주행을 구현하고 있는지, 이런 기술 스택이 왜 사용되는지 등에 대해서 다룹니다. 많은 기술 중에서, 복잡한 컴퓨팅 하드웨어에서 많은 센서 데이터를 다루고 수많은 알고리즘이 돌아갈 수 있게 프레임워크를 제공하는 소프트웨어 인프라스트럭처를 배웁니다. 그리고 퍼셉션 알고리즘과 측위와 맵핑 기술, 마지막으로 시뮬레이션 스택에 대해서 설명합니다.

Part3. 실리콘밸리에서 자율주행 기술을 개발하는 방법과 개발문화

  1. 테슬라에서는 어떤 원천기술을 바탕으로 오토파일럿을 개발하는지, 실리콘밸리의 많은 자율주행 스타트업들은 어떤 기술을 활용하여 자율주행 Full-Stack 기술을 만들어가는지 살펴봅니다. 실리콘밸리의 개발 문화를 간단하게 공유하고, 그 중에 혁신을 이루어내는 문화의 유전자가 무엇인지 조형기의 생각을 공유합니다. 퍼셉션의 많은 진보를 가지고 온 Deep Learning 알고리즘의 오픈소스 문화와 클라우드 컴퓨팅에 사용되는 많은 오픈소스 웹 기술들을 예로 설명합니다.

Part4. 자율주행 엔지니어에게 요구되는 기술 역량 I

  1. 테슬라 오토파일럿 같은 자율주행 어플리케이션을 개발하고 싶어하는 주니어 엔지니어들이 가져야 할 기술 역량 Linear Algebra (선형대수)에 대해서 설명합니다. 공학의 기본이 되는 선형 시스템을 이해하기 위해 선형 시스템의 거동을 좌우하는 수학적인 개념을 정확히 이해해야 합니다. 선형대수에서 말하는 개념이 어떻게 선형 시스템을 분석하는 데 사용되는지 실무적 감각을 가지고 설명해드립니다.

Part5. 자율주행 엔지니어에게 요구되는 기술 역량 II

  1. 테슬라 오토파일럿 같은 자율주행 어플리케이션을 개발하고 싶어하는 주니어 엔지니어들이 가져야 할 기술 역량 두번째, Probability Theory / Estimation Theory (확률이론과 추청이론) 에 대해서 설명합니다. 좀 더 복잡한 시스템, 랜던 선형 시스템을 이해하기 위해서는 확률과 추정이론에 대한 이해가 필요합니다. 추정이론은 대학원에서도 고급과목에 해당하기 때문에 Kalman Filter에 대해서 완벽하게 이해하기란 쉽지 않을 수 있습니다. 확률과 추정이론에 대한 기본적이고 핵심적인 개념을 설명하고 Kalman filter를 실무적인 관점에서 이해할 수 있게 도와드립니다.

Part6. 오브젝트 트랙킹을 위한 센서 퓨전

  1. 센서퓨전 기술은 수많은 센서들로 수집된 데이터를 처리하는 미래 모빌리티의 뇌를 담당하는 기술입니다. 본 장에서는 센서퓨전 이론과 함께, 센서퓨전 기술을 오브젝트 트랙킹 문제에 적용한 사례와 실무에 대해서 다룹니다. 사용되었던 센서들과 컴퓨팅 하드웨어에 대해 개괄적으로 설명하고, 조형기가 카네기멜론 대학의 박사과정에서 연구를 수행한 센서퓨전 관련 실무지식을 다룹니다. 더불어 공학의 모든 분야에서 자주 사용되는 Kalman filter가 오브젝트 트랙킹 알고리즘에 어떻게 적용되는지 배워봅니다.

Part7. 센서퓨전 시스템 구현을 위한 팁

  1. 센서퓨전 시스템을 구현하기 위해서 필요한 지식들과 구현 팁을 예시를 통해 구체적으로 설명합니다. 센서퓨전 시스템을 실제로 구현할 때 생각해야 하는 소프트웨어적인 이슈들, 트랙킹의 모션 모델, 사용되는 여러 센서 모델들에 대해서 이야기합니다. 마지막으로 Data Association에 대해서 설명합니다.

Part8. 주니어 엔지니어들에게 조형기 대표가 들려주는 이야기

  1. 조형기가 스스로가 거쳐 온 커리어 패스를 설명하며 각 과정에서 겪었던 고민들을 주니어 엔지니어들에게 공유합니다. 처음 미국에 와서 유학 생활은 어땠으며 6년의 유학 생활을 거쳐 배운 점들을 전합니다. 꿈을 꾸지 않은 하루는 죽은 하루라고 말하는 조형기의 메시지처럼 많은 주니어 엔지니들이 꿈을 향해 노력할 수 있도록 영감을 얻게 하는 것이 이 강의의 궁극적 목적입니다.
그리고 한 걸음 더

강의에 대해 궁금하셨나요?
한 걸음 더 들어가봅니다.

수강료.

  • The RED : 조형기

    현재 정가 대비 49% 할인 중!
    12월 31일 금요일 자정 까지

    정가 529,000원
    현재 판매가 265,000원

    12개월 무이자 할부 시 월 22,083원

국내 9개 카드사 12개월 무이자 할부 지원! (간편 결제 제외)

  • 삼성카드
  • 신한카드
  • 롯데카드
  • 현대카드
  • 하나카드
  • BC카드
  • KB국민은행
  • 씨티카드
  • NH농협카드