피지컬 AI 개발을 위한 VLA & 로봇 특화 LLM 한번에 끝내기
피지컬 AI 기술 개발의 시작이자 핵심,
지금.
왜 VLA 를 배워야 하나요?
피지컬 AI는 텍스트, 이미지, 오디오, 비디오 등 다양한 형태의 정보를 이해하고
직접 추론하여 물리적 환경에서 작업을 수행할 수 있어야 합니다.
로봇에게 사람과 가까운 지능을
주고 움직이도록 만드는 것이 VLA
피지컬AI에서 중요한 것은 무엇인가요?
피지컬 AI 구현에서 VLA가 왜 중요한가요?
로봇 AI 를 이해하고 피지컬 AI를 구현하기 위한
핵심 4가지 학습 포인트
로봇 - 피지컬 AI 학습의 시작,
VLA & 로봇 특화 LLM 한번에 끝내기
로봇이 사람의 언어와 시각 정보를 이해하고 행동으로 옮기는 Vision-Language-Action(VLA) 개념을 학습하고, 최신 AI와 LLM을 로봇 환경에 적용하는 방법을 통해 로봇 AI학습을 이해합니다.
MuJoCo & Gazebo 활용하여
AI-로봇 연동 통한 시뮬레이션 프로젝트 실습
MuJoCo와 Gazebo를 활용해 주행로봇·로봇팔·센서가 포함된 환경을 직접 시뮬레이션해보고 Python 연동과 AI 모델 적용으로, 가상공간에서 구현한 로봇 제어를 현실로 확장하는 프로젝트를 수행합니다.
VLA 모델 구현을 위한 ROS 2 와
SLAM & Nav2 이해까지 한번에
ROS2 기반의 자율주행 핵심 모듈인 SLAM과 Nav2를 학습하고, 실제 로봇 주행을 구현하고, 이를 LLM·VLA와 결합하여 자연어 지시를 처리하는 로봇을 완성합니다.
로봇 전문가이자 로봇 교육 선구자
민형기 박사님과 함께 하는 로봇 AI 학습과 질의응답 커뮤니티
15년 이상 로봇 연구와 교육을 이어온 민형기 박사님의 노하우와 실무 경험을 듣고 강사님께 직접 질문하면서 단순한 로봇 AI 개념 및 이론 이해를 넘어, 최신 로봇 AI 연구와 교육 현장의 실제 인사이트를 함께 배웁니다.
* 커뮤니티 운영기간 (2025년 11월 1일 ~ 2026년 11월 1일)
피지컬 AI 시작이자 핵심, VLA와 로봇 AI 개발에 대해 알려주실
로봇 연구 개발자 강사님을 소개합니다.
로봇 전문가
안녕하세요 민형기입니다.
이제 로봇 개발분야는 로봇을 제조하는 분야 만큼, 아니 그것보다 훨씬 더 큰 영역으로 커지고 있습니다. 특히, 로봇이라는 하드웨어에 AI 기술이 결합되기 시작하면서 스마트팩토리와 같은 작업현장에서 뿐만 아니라, 이제는 우리 일상생활에까지 로봇 상용화를 앞두고 있습니다. 그렇기에 엑셀과 같은 스프레드 시트를 만드는 기관은 소수이지만, 엑셀을 사용하는 사람이 어마어마하게 많은 것 처럼, 로봇을 사용하는 분야가 더 커질 것으로 확신합니다.
수술용 로봇 개발을 포함하여 AI 로봇 개발과 함께 많은 취준생과 실무자분들께 도움이 될 수 있는 로봇 교육 관련된 여러 활동을 하면서 최근 관심을 끌고 있는 피지컬 AI의 입문편을 준비하게 되었습니다.
현업에서 실무를 하시는 엔지니어 및 개발자 분들을 포함하여 취업을 대비하시거나 지속적으로 로봇 연구를 하시는 분들이 이런 흐름을 공부하는데 작은 도움이 되길 원합니다.
주요 업적
수술 로봇 개발• 국내 최초 상용화에 성공한 미래컴퍼니 수술 로봇 Revo-i(레보아이) 시스템 개발
• ColubrisMX Korea : 단일 포트 수술 로봇 제어 시스템 개발
복강경/심혈관 수술 로봇 개발
• Master - Slave 기반의 복강경/심혈관 수술 로봇 시스템 개발
• RTOS 기반의 복강경 수술로봇 시스템 설계, 개발, 동물실험 및 임상 진행
교육 활동
• 기업 교육 - 현대자동차, 웅진코웨이, 한국로봇학회, 대한상공회의소 등• 대학 강의 및 특강 - 한양대학교, 서울대학교, 전북대학교, 광운대학교, 한국공학대학교 등
• 전문가 양성과정 - 한국로봇융합연구원, 로봇산업협회, 애드인에듀, 한국전파진흥협회 등
민형기 박사님에게 강의를 들어야 하는 이유
VLA & LLM 로 구현해보는 로봇 AI
로봇 특화 LLM 과 VLA 로 직접 구현해보는 로봇 AI
VLA(Vision-Language-Action) 모델의 개념과 구조를 이해한 후, 오픈소스와 연동을 통해
MuJoCo를 활용하여 주행 로봇 및 로봇팔을 직접 구동해봅니다.
LLM - MuJoCo 로봇 구동 프로젝트
학습 포인트
- • Ollama와 프롬프트 엔지니어링을 통해 로봇 제어 명령을 생성 학습
- • YOLO·파인튜닝 모델을 활용해 시각 정보를 인식·보고하며 자연어 기반의 질문응답까지 수행하는 과정 학습
로봇 Agent& Simple VLA 구현 프로젝트
학습 포인트
- • VLA(Vision-Language-Action) 모델을 활용해 로봇이 시각 정보를 이해하고 명령에 따라 행동하도록 만드는 과정 학습
- • 프롬프트 설계부터 오픈소스 기반 구현, 환경 맞춤 파인튜닝까지 실습하며 같은 자연어 지시를 수행하는 로봇 에이전트를 직접 구성
자율주행 로봇에서 구현 해보는 VLA
로봇 특화 LLM 과 VLA 로 직접 구현해보는 로봇 AI
로봇 자율주행의 핵심 기술 SLAM 과 ROS2의 꽃이라 할 수 있는 Navigation 2 기반으로
장소와 비전인식을 통합하는 LLM과 VLA 모델을 직접 적용해봅니다.
ROS 2 - SLAM - Nav2
ROS2의 기본 개념과 환경 설정부터 SLAM·Nav2 기술까지 다루어보며 맵 생성·위치 추정·경로 계획을 학습해본 후,
RViz와 Gazebo 연동을 통해 로봇의 인식과 주행 과정을 시각적으로 검증합니다.
LLM 기반 자율주행 멀티모달 로봇 에이전트
SLAM·Nav2 기반 맵과 비전 정보를 LLM과 결합해 장소·객체를 인식하고, 자연어 명령을 로봇 제어 명령으로 변환하는 과정을 다루어 보며
자연어 기반의 고차원 지시를 수행하는 멀티모달 로봇 에이전트를 구현해봅니다.
실습 프로세스
STEP 1. LLM 이 SLAM 에서 장소를 인식하게 프롬프트 적용
- a. SLAM에서 생성한 맵 데이터를 가져오기
- b. 장소 정보(JSON) → LLM 입력
- c. 자연어로 “여기는 연구실, 저기는 회의실” 인식하게 하기
- d. Prompt 구성법: 맵 좌표 + 비전 정보 + LLM 설명
- e. 응용: “회의실로 가” 명령 → Nav2 목표점 변환
STEP 2. 장소와 비전인식을 통합하는 명령에 대한 LLM 적용
- a. 장소 인식 + 객체 인식 통합 프레임워크 설계
- b. Prompt에 “위치 정보 + 시각 정보” 함께 제공
- c. 명령어 예시: “회의실에서 사람 찾아와”
- d. LLM이 고차원 명령 → 로봇 제어 명령 변환
- e. 명령어 예시: “회의실에서 사람 찾아와”
패키지 상품

피지컬 AI 개발을 위한 VLA & 로봇 특화 LLM 한번에 끝내기정가 400,000원
자율주행 로봇을 위한 ROS 2 & SLAM & Nav2 한번에 끝내기정가 1,000,000원
피지컬 AI와 자율주행 로봇 기술을 한 번에 마스터하세요.”
강사님께 직접 질문할 수 있어요! 실습 중 에러가 나면? 질의응답 커뮤니티에 바로 질문하세요!
에러를 해결해 본 수강생, 같은 고민을 가진 수강생 동료와 함께 강사님께 직접 질문하고 고민을 나눠요! * 강사님은 커뮤니티에 참여하시지만, 강사님의 답변이 필수는 아닙니다.
* 커뮤니티는 2025. 11. 01 ~ 2026. 11. 01 동안 운영됩니다.
어떤 사람이 들으면 좋나요?
· 사람이 로봇을 다루는 것에 자연어를 사용하는것에 관심있는 분
· 피지컬 AI에 처음 진입하시려는 분
· 로봇의 물리 엔진을 이용해서 시뮬레이션 해보려는 분
· 로봇분야 취업을 준비하고 있는 취준생 및 대학(원)생
· 주니어 로봇 엔지니어
이번 강의를 듣고나면 어떻게 변화할 수 있을까요?
또한 ROS2의 SLAM/Nav2를 설정한 상태에서 역시 VLA를 연결하는 것을 다루며, 빠르게 변화는 기술 분야에서, 현시점 피지컬AI의 주요 키워드인 VLA와 모방학습, 강화학습 중에서 VLA가 로봇과 연결하는 과정들을 직접 경험할 수 있습니다.
이번 강의 실습 환경은 어떻게 되나요?
· Ubuntu 24.04에서 진행됩니다.가상환경에서는 어떤 이슈들이 생길지 모두 알지 못해서, 꼭 Ubuntu 24.04가 실제 설치된 환경을 권장합니다.
· MuJoCo와 ROS2, Gazebo를 사용합니다. 시뮬레이션 환경과 ollama에서 구동할 LLM 모델의 크기를 고려할때, 12G 이상의 GPU가 있으면 좋습니다.
· OpenAI의 API를 사용하기 때문에, API 토큰 비용은 유료로 발생합니다. 학습 중간중간에 필요한 모델들은 배포하므로, 당장은 PC 사양이 낮더라도 과정을 수행하는것은 가능합니다.
이번 강의 수강을 위해 사전지식이 필요한가요?
· Ubuntu에 대한 기초 지식 및 경험


Youtube