복제:Mobile ALOHA와 모방 학습을 활용한 로봇 행동 제어
로봇 모방 학습을 위한
세 가지 Check Point!
사람의 행동을 그대로
관찰하고 따라하는 로봇
로봇이 사람처럼 자연스러운 행동을 보이기 위해
대표적으로
2가지 기술이 활용되고 있는데,
그러나 동적인 환경 속 불확실한 움직임과 방대한 보상 설계 소요 시간 때문에
사람의 행동을 바로 따라하면서 학습 시간과 오류를 줄일 수 있는 모방학습이 최근 주목 받고 있습니다.
Boston Dynamics, TESLA부터 뉴로메카, 로보티즈까지
로봇 행동 제어 기술 표준이 되어 가고 있는 모방학습!
로봇이 사람과 동일한 수준의 섬세한 동작을 구현하기 위한
대표 2가지 프로젝트 실습을 진행합니다.
Project 1
Mujoco Gym 환경에서 모방학습 로봇 프로젝트 실습
Mujoco 시뮬레이션 환경에서 모방학습 알고리즘을 적용하여
로봇 행동을 제어해볼 수 있는 프로젝트 실습을 구현합니다.
로봇 행동을 제어해볼 수 있는 프로젝트 실습을 구현합니다.
Project 2
양팔 로봇의 행동 정확도를 높일 수 있는 행동 제어 프로젝트 실습
고정된 환경 속 데이터와 모바일 환경에서 수집한 데이터를 함께 훈련하여 로봇의
행동 성공률을 90% 이상으로 높이는 프로젝트 실습을 구현합니다.
모방학습의 대표적인 오픈소스 Mobile ALOHA를 활용하여
로봇 모델링부터 양팔 로봇 구현 프로젝트까지 한번에 학습하세요.
학습 POINT
로봇이 사람의 행동을 관찰하여 스스로 터득하기 위한
과정을 학습할 수 있는 모방학습 핵심 4가지 포인트
동작할 수 있게 파이널 프로젝트 구현 실습을 진행합니다.
최근 논문/기술까지 한 번에! 모방학습의 기본적인 구동 원리부터 멀티모달과 디퓨전 기술을 활용하여
유연한 환경에서도 작동할 수 있는 모방학습 기술을 학습합니다.
제어하는 글로벌 기업 사례 학습 Boston Dynamics의 Atlas, NVIDIA 사례를 통해 글로벌 기업에서
로봇 행동 제어에 모방학습을 활용하였던 방법을 학습합니다.
질의응답 커뮤니티 강의 수강 후 궁금한 점은 언제든 질문 가능한 질의응답 및 모방학습
개발 노하우를 얻어갈 수 있는 수강생 전용 커뮤니티 운영!
운영 기간 : (2025년 5월 30일 ~ 2028년 4월 27일)
POINT 01
로봇 모방학습 적용을 위해 필요한 기본 원리부터
최신 트렌드 논문/기술까지 3단계로 학습
모방학습이 주목받기 시작한 이유부터 최신 멀티모달, Diffusion 기술까지
학습하면서 로봇에 모방학습을 적용하는 방법을 학습합니다.
Behavior Cloning
∙ Supervised Learning을 활용하여 Expert의 State와 Action의 Sequence를 입력 후 Policy를 그대로 배워 나가는 방법을 학습합니다.
DAgger
∙ Behavior Cloning 문제 중 특정 지점에서 실수를 유발하여 문제 상황에서
Expert의 올바른 Action으로 Error 발생을 방지하는 방법을 학습합니다.
GAIL(Generative Adversarial Imitation Learning)
∙ 전문가의 행동을 모방할 때 어떤 환경적 맥락에서 나왔는지를 구별하여
생성 정책을 학습하기에 상황에 따른 전략적 행동을 학습합니다.
Offline Imitation Learning
∙ 이미 수집된 전문가의 데이터(Trajectory)를 활용하여 로봇이 전문가의
행동을 모방하는 정책을 학습합니다.
Multimodal Imitation Learning
∙ 비정형 환경에서 다양한 행동 경로를 파악해, 상황에 맞게 로봇이 여러
행동을
병행하거나 최적의 방식으로 제어하는 방법을 학습합니다.
Diffusion Policy
∙ 확산 모델을 활용해 로봇 행동을 학습 데이터로 입력하고, 그에 따른 행동을 생성하는
방법과 Boston Dynamics의 적용 사례를 함께 학습합니다.
POINT 02
3가지의
End to End Imitation Learning 방법학습
최근 모방학습에서 가장 많이 활용되는 End to End 접근법을 학습하고
Mujoco 시뮬레이션 환경에서 모방학습을 로봇에 적용합니다.
갖추기 어려운 사람의 Dexterity를 갖추기 위한 모방 학습 ∙ DexMV 파이프라인을 활용하여 영상에서 3차원 손과 물체의 자세를 추출 하여
사람의 모션을 로봇 Demonstrations으로 변환하는 방법을 학습합니다.
데이터 부족 문제를 해결할 수 있는 모방 학습 ∙ DexMV 파이프라인을 활용하여 영상에서 3차원 손과 물체의 자세를 추출 하여
사람의 모션을 로봇 Demonstrations으로 변환하는 방법을 학습합니다.
시간적 동기화를 효과적으로 처리하는 방법을 학습합니다.
∙ 로봇 모방 학습 구현에 필요한 Kinematics를 계산하고 Control 방법을 학습합니다.
∙ URDF와 MJCF 로봇 모델링 간 차이를 학습합니다.
시뮬레이션 환경에서 온전한 모방학습 로봇을 개발합니다.
POINT 03
Mobile ALOHA를 활용하여
모방학습을 구현하는 파이널 프로젝트
모방학습에 대표적으로 활용되는 오픈소스인 Mobile ALOHA를 활용하여
양팔 로봇을 구현해볼 수 있는 파이널 프로젝트 실습을 진행합니다.
∙ 로봇 팔의 관절 위치와 베이스의 선형 & 각속도를 결합해 행동 벡터를 구성하는 방법을 학습합니다.
강사 소개

Kyle
현) 서울대학교 로봇 공학 연구원
-
강화학습 & 모방학습 로봇 행동 제어
연구 진행
강사님께서 참여하셨던 주요 프로젝트
• Deep Learning based Multi Modal Sensing & Control
• Design & Implementation of Real-Time Embedded Systems for Robotics Applications
POINT 04
강사님과 직접 주고 받는
질의응답 커뮤니티
강사님과 무한 질의응답이 가능합니다.
2) 강의를 듣다가 이해되지 않는 부분이 생기면 바로 질문하세요!
* 강사님께서 직접 질문에 답변해 주시는 기간은 2025년 5월 30일 ~ 2028년 4월 27일까지 운영되며, 그 이후에는 패스트캠퍼스 AI 기능을 활용하여 질문에 답변받으실 수 있습니다.
* 강사님이 현업 중 답변하시기 때문에 답변까지 영업일 기준 7일 내외의 시간이 소요될 수 있습니다.
* 강의와 무관한 질문에 대해서는 답변이 제공되지 않을 수 있습니다.
언제든, 몇 번이든 다시!
바쁜 일정에도 걱정할 필요 없이, 원하는 때에 학습하고 필요할 때마다 복습하세요.
수강하시면 좋을까요?
• 로보틱스 연구를 하고 있는 학/석사 연구원
어떤 것들을 학습할 수 있을까요?
실물 로봇 없이도 Imitation Learning 연구
테스트 해볼 수 있는 로봇이 없는 환경에서도 시뮬레이터를 활용하여 데이터를 생성하는 과정부터 훈련, 검증까지 전체 파이프라인을 학습할 수 있습니다.
장시간 데모 수집 비용 문제 해결
ACT + Action Chunking으로 적은 시간의 데모 데이터(eg. 10분)만으로도 최소 모방 성공 확률을 90% 이상 달성할 수 있는 방법을 학습합니다.
머신러닝 데이터 생성기로써 Mujoco 시뮬레이터 활용 기법 학습
Robosuite·Manipulator-Mujoco와 같은 오픈소스 템플릿을 불러와 UR-로봇·Franka Panda 같은 6DoF 팔을 즉시 등록한 뒤, Pick-&-Place·Insertion 등 여러 Task들을 Gym/DM-Control API 형태로 래핑하여 다양한 형태의 데이터 셋을 만들어보고 실험해볼 수 있는 방법을 학습합니다.
어떤 기준으로 선정하였나요?
그래서 모방학습의 가장 기본적인 이론부터 최신 Mobile ALOHA Task까지 시뮬레이터 환경에서 학습을 진행하면서 물리 상호작용을 이해하는 로봇 행동 제어를 학습해보실 수 있게 됩니다.
• Python 3.1
• Conda 시뮬레이터
• Mujoco 2.37
• Pytorch, Torch Vision
• 실습 시 최소 GPU 요구 환경 : RTX 3060 Ti




