로봇의 눈, Yolo V11과 NVIDIA Isaac Sim으로 개발하는 로봇 비전

출처 : NVIDIA 공식 유투브 채널

강력한 인식 기능과 정밀한 로봇 훈련으로
로봇 행동을 결정하는 로봇 비전

로봇 비전을 이해하기 위한 세 가지 필수 개념

Yolo V11과 NVIDIA Isaac Sim으로 로봇 비전을
구현하는 대표 두 가지 프로젝트 실습을 진행합니다.

Project 1. 모바일 로봇의 동적 장애물 회피 주행
물류 창고에서 모바일 로봇이 동적 장애물을 회피 주행하는 경로 생성

Project 2. 매니퓰레이터 6-DoF 자세 추정
로봇 팔이 3D 위치와 방향을 계산하여 움직이는 작업 경로 생성

강의 학습 포인트

Yolo V11과 Isaac Sim으로 개발하는
로봇 비전 4가지 학습 포인트

Point 01
Yolo V11과 NVIDIA Isaac Sim으로
개발하는 로봇 비전

로봇이 특정 환경에서 객체를 정확하게 인식하여
작업을 수행하는 방법 학습

Point 02
Yolo V11 모델을 로봇 개발 환경에 맞춰
개발하는 전이학습

2D 인식에서 3D 공간의 ‘점’, 6 DoF ‘자세’ 까지 로봇이 전방위로
물체를 잡기 위해 자세를 추정하는 방법 학습

Point 03
동적 ‘장면’ 을 이해하여 로봇의 행동을
연결하는 2개의 파이널 프로젝트

물류 창고에서 동적 장애물을 회피할 수 있는 자율주행 설계 시나리오와
객체를 하나씩 집어 정리 가능한 다관절 로봇 설계 시나리오 실습

Point 04
삼성전자, 우아한 형제들 출신 대기업 로보틱스
엔지니어 강사님과 함께하는 강의

비스포크 Jetbot AI, 배달 로봇 Dilly 개발에 직접 참여하신  
강사님의 현장 경험을 그대로 전달하는 로봇 비전 강의

Point 01

Yolo V11과 NVIDIA Isaac Sim을
활용한 로봇 비전 모델 훈련

컴퓨터 비전에 익숙하지 않아도 상관 없습니다.
Yolo V11 비전 모델의 개념과 비전 모델을 공간 정보로 변환하는 방법을 학습합니다.

개념 학습
Yolo V11 모델 훈련의 개념과 Isaac Sim을 활용한 합성 데이터 생성 과정 학습

Project 구현
커스텀 Yolo V11 모델 훈련을 위한 필수 2가지 실습 구현

실습 Project 01

Yolo V11 모델이 객체를 인식하여
로봇이 행동할 수 있는 환경 구성 실습 프로젝트

NVIDIA Isaac Sim에서 실제 창고를 모방한 3D 환경을 구축하고,  
Yolo V11 학습에 사용되는 박스, 컵, 팔레트 등의 3D 객체를 배치합니다.

실습 Project 02

로봇이 작업 환경에서 필요한 객체
(컵, 팔레트, 박스 등)의 이미지와
동일한 학습 데이터 생성 실습 프로젝트

Isaac Sim의 Replicator 활용 방법을 학습하여 로봇 작업 환경에 필요한 객체 이미지와 Bbox, Seg, OBB 정보를 수집합니다.

성능 평가와 한계점 극복
커스텀 Yolo V11 모델 성능 평가 및 한계점 해결을 위한 2가지 방법 학습

Point 02

로봇이 입체환경에서 객체를 인식할 수 있는
3단계 Yolo V11 전이학습

1단계 : 데이터 변환

2D 객체 인식에서 3D 공간의 ‘점’ 으로 이미지 데이터 변환

로봇이 이해할 수 있도록 Yolo V11의 비전 모델에서 추출한 2D 인식 결과를 3D 공간의 ‘점’ 으로 변환합니다.

01 ㅣ 개념 학습
카메라와 좌표계를 이해하기 위한 핵심 3가지 개념 학습

2 ㅣ Project 구현
2D 인식 결과물을 3D 공간의 ‘점’ 으로 변환할 수 있는 대표 2가지 실습 구현

2단계 : 자세 추정

3D 공간의 ‘점’ 에서 6 DoF ‘자세’ 추정

로봇이 물체를 두고 행동할 수 있는 6-DoF 자세(Pose)를 추정하는 방법을 학습합니다.

01 ㅣ 개념 학습
로봇이 실제 행동을 제어할 수 있는 자세 추정 과정 학습

2 ㅣ Project 구현
로봇의 자세 추정 과정을 개발하는 대표 3가지 실습 구현

3단계 : 행동 결정

정적 객체에서 동적 ‘장면’ 으로 로봇의 행동 결정

로봇이 미래 이동 경로 사이 장애물을 실시간으로 추가하여 객체 추적 및 충돌 회피를 할 수 있는 로봇 비전 시스템을 개발

01 ㅣ 개념 학습
로봇이 움직이는 객체를 추적하고 회피할 수 있는 과정 학습

2 ㅣ Project 구현
동적 환경에서 로봇의 행동을 결정할 수 있는 대표 2가지 실습 구현

Point 03

로봇의 대표 2가지 형태 자율주행 & 다관절 로봇의
움직임을 설계하는 파이널 로봇 비전 프로젝트

NVIDIA Isaac Sim 환경에서 로봇의 객체 인식부터
동적 움직임을 결정하기 위한 2개의 파이널 프로젝트를 진행합니다.

Final Project 01
모바일 로봇의 동적 장애물 회피 주행 시스템 설계

| 프로젝트 목표

Yolo V11이 모바일 로봇의 인식부터 회피까지의 과정을 설계하고, ROS 2 노드 구성과 토픽 흐름을 다이어그램으로 정의하여
 각 모듈의 임출력 인터페이스 및 성능 요구사항을 설정합니다.

l 프로젝트 실습 과정

Final Project 02
매니퓰레이터 로봇의 6-DoF 자세 추정

| 프로젝트 목표

Yolo V11이 매니퓰레이터 로봇의 물체를 찾는 과정부터 파지까지의 과정을 설계하고,
ROS 2 노드의 연결 구조를 그려 3D 위치와 방향을 계산합니다.

l 프로젝트 실습 과정

오직 패스트캠퍼스에서만 만나볼 수 있는
2가지 부가 혜택까지 모두 챙겨가세요!

우아한형제들의 Dilly, 삼성전자의 Bespoke Jetbot AI + 프로젝트에
직접 참여하신 로봇 기업 CTO님과 함께 합니다.

강사소개

정우진

현) RoboVertical CTO
전) (주) 우아한형제들 Robotics Engineer
전) 삼성전자 Robotics Engineer

강사님께서 참여하였던 주요 프로젝트

· 배달 로봇 Dilly : SLAM 파트 리더
· 로봇 청소기 Bespoke JetBot AI + : 장애물 인식 및 센서 퓨전
· 자율주행 자동차 : 객체 추적, 차선 인식

강사님 한 마디

현재 국내/외 대부분의 로봇 교육을 보면 Gazebo 시뮬레이터를 활용하여 실습을 진행하고 있습니다. 그러나 이번 강의에서는 NVIDIA Isaac Sim 시뮬레이터를  다루게 되는데, 특히 Replicator 기능은 완벽하게 레이블링 된 합성 데이터를 대량 생산할 수 있어 개발 단계에서 필요한 Grount Truth를 제공하기 때문에 활용도가  훨씬 높습니다.

대부분의 컴퓨터 비전 강의와 다르게 이번 강의를 수강하시고 나면 인식에서 얻은 컴퓨터 비전의 결과물을 어떻게 로봇에 적용하여 실제 로봇이 행동할 수 있는 ‘근거’ 를 만들 수 있는 답을 얻으실 수 있을 거라 생각합니다. 단순한 물체를 찾는 것을 넘어 거리/방향을 고려하여 로봇을 움직이는 방법을 학습 할 예정입니다.

또한 전체 로봇 비전 시스템을 From the Scratch로 만들어 보면서 Nav 2와 같은 ROS 2의 오픈소스를 활용하는 것을 넘어 처음부터 끝까지 동작을 구현할 수 있는  로봇 비전 시스템을 개발하면서 단순 시뮬레이터 학습 강의가 아닌, 동적 환경에서 로봇 시스템을 구현할 수 있는 지식을 얻을 수 있게 되리라 확신합니다.

Question.1
어떤 분들이
수강하시면 좋을까요?

· 로봇틱스 및 로봇 비전 응용 기술을 활용하여 개발을 하고 싶어하는 엔지니어
· 로봇 비전 시스템 개발을 연구하는 학/석사생

Question.2
강의를 수강하고 나서
어떤 지식을 학습할 수 있나요?

Yolo V11 커스텀 모델 개발과 합성 데이터 활용
· 기존 Yolo 11 모델을 단순히 사용하는 것이 아닌, 특정 작업 환경에서 최적화된  커스텀 모델을 직접 훈련시키고, 성능 지표를 활용하여 객관적으로 평가하는  전 과정을 경험하게 됩니다.
· Isaac Sim을 활용하여 여러분이 구축한 환경에서 수천장의 완벽하게 레이블링된  학습 데이터를 몇 분만에 생성하는 방법을 학습하게 됩니다.

2D 이미지 정보를 3차원의 로봇 제어로 변환하는 파이프라인 개발
· “카메라가 물체를 찾았다” 에서 “로봇이 물체를 잡을 수 있다” 까지의  모든 과정을 직접 구현하게 됩니다. 픽셀 좌표(u, v) 와 깊이 정보(d)를  카메라 좌표계의 3D 점으로 변환하고, 이를 다시 로봇 베이스 좌표계로 변환하는  수학적 원리와 실제 코드를 구현하게 됩니다.
· 단순한 3D 위치뿐만 아니라, 3차원 포인트 클라우드를 다루는  고급 기법을 배웁니다. 이를 통해 물체의 방향을 인지하고 로봇이  어떻게 행동할지를 결정하는 실용적인 기술을 습득합니다.

동적 환경에서의 로봇 시스템 구현
· 정적인 환경을 넘어 동적 환경에서의 로봇 비전 기술을 배웁니다.  Yolo에서 인식한 결과를 칼만 필터를 사용하여 움직이는 객체를 추적하고  1~2초 후의 미래 위치를 예측하는 알고리즘을 학습합니다.
· 예측된 동적 장애물을 Nav2에서 어떻게 활용하는지 학습하며 로봇이  충돌을 미리 예측하고 회피하는 시스템을 구축 합니다. 

Question.3
필요한
선수지식이 있을까요?

· Python 프로그래밍
· 선형대수 지식의 기초 : 행렬 연산, 좌표 변환, 벡터 연산 이해 필요
· 컴퓨터 비전 지식의 기초 : 이미지 처리, 카메라 모델에 대한 기본 개념 이해 필요
· 딥러닝 지식의 기초 : CNN, 객체 탐지의 기본 원리 이해 필요
· ROS 2 지식의 기초 : 토픽과 노드의 개념 이해 필요

Question.3
개발 환경

· Ubuntu 22.04 LTS
· ROS 2 Humble
· Isaac Sim 4.5.0
· 원활한 실습을 위해서라면 Geforce RTX 4080 급 GPU 필요(최소 강의 수강을 위해서라면 4070까지도 가능합니다.)

Fast Campus