사람은 자전거를 한 번 배우면 평생 탑니다. 그런데 로봇은 어떻게 ‘몸으로 하는 일’을 배울까요? 정답은 가상 세계에서 수백만 번 넘어져 보는 것입니다. 피지컬 AI의 두 번째 축, 학습(Learning)의 원리를 파헤칩니다.
로봇 학습은 시뮬레이션 훈련 → 파운데이션 모델 구축 → 현실 전이(Sim-to-Real)의 3단계로 이뤄집니다. NVIDIA GR00T는 세계 최초의 상업 라이선스 가능한 휴머노이드 파운데이션 모델이며, Figure의 Helix 02는 카메라 픽셀에서 곧바로 행동을 출력하는 VLA 모델로 BMW 공장에서 실전 검증 중입니다.
로봇 학습의 3단계 파이프라인
1단계 — 시뮬레이션 대량 훈련
NVIDIA Isaac Sim 같은 물리 시뮬레이터 안에서 로봇의 디지털 트윈이 과업을 반복합니다. 현실에서 1년 걸릴 시행착오를 GPU 병렬 연산으로 몇 시간 만에 압축할 수 있고, 로봇이 아무리 넘어져도 수리비가 들지 않습니다. 여기에 조명·마찰·물체 배치를 무작위로 바꾸는 도메인 랜덤화(Domain Randomization)를 적용해 어떤 환경에서도 통하는 일반화 능력을 키웁니다.
2단계 — 파운데이션 모델 구축
언어모델이 인터넷 텍스트 전체를 학습하듯, 로봇 파운데이션 모델은 시뮬레이션 데이터, 원격조작 시연 데이터, 인간 동작 영상을 모두 흡수합니다. NVIDIA의 GR00T(Generalist Robot 00 Technology)가 대표적이며, 세계 최초의 오픈·상업 라이선스 가능 휴머노이드 파운데이션 모델로 여러 로봇 제조사가 채택하고 있습니다.
3단계 — Sim-to-Real 전이
시뮬레이션과 현실의 물리 법칙에는 미세한 차이(Sim-to-Real Gap)가 존재합니다. 이를 메우기 위해 현실 데이터로 미세조정(fine-tuning)을 수행하고, 실패 사례를 다시 시뮬레이션에 반영하는 순환 학습 루프를 돌립니다.
VLA 모델: 로봇 학습의 게임체인저
VLA(Vision-Language-Action) 모델은 시각 입력과 언어 명령을 받아 곧바로 행동을 출력하는 통합 신경망입니다. “선반의 파란 상자를 카트에 실어”라는 문장을 이해하고 팔·다리·몸통의 움직임으로 변환합니다.
| 모델 | 개발사 | 특징 | 실전 적용 |
|---|---|---|---|
| GR00T | NVIDIA | 오픈 라이선스, 범용 휴머노이드용 | 다수 제조사 채택, 레퍼런스 로봇 2026년 말 출시 |
| Helix 02 | Figure AI | pixels-to-actions, 손·팔·몸통·발 통합 제어 | BMW 스파턴버그 공장 부품 시퀀싱 |
| Optimus AI | Tesla | FSD 기술 이식, AI5 칩 + Grok 음성 | 프리몬트 공장 자체 라인 투입 |
데이터 병목과 해결 전략
- 원격조작 수집 — 사람이 VR 장비로 로봇을 조종하며 시연 데이터를 만듭니다. 1X는 이 방식으로 가정 내 작업 데이터를 대량 축적했습니다.
- 인간 영상 학습 — 유튜브 등 인간 동작 영상에서 모방 학습하는 연구가 활발합니다. 1X의 Neo는 영상 학습으로 새 기술을 스스로 습득하는 기능을 공개했습니다.
- 월드 모델 — NVIDIA Cosmos처럼 물리 세계의 인과를 예측하는 월드 모델로 가상 훈련 데이터를 무한 생성하는 접근이 2026년의 최전선입니다.
로봇 파운데이션 모델 자주 묻는 질문
로봇 파운데이션 모델과 LLM은 무엇이 다른가요?
LLM은 텍스트 토큰을 예측하지만, 로봇 파운데이션 모델은 연속적인 관절 움직임을 예측합니다. 또한 물리 법칙 위반이 허용되지 않고 실시간 응답(수십 밀리초)이 필수라는 제약이 추가됩니다.
하나의 모델로 여러 종류의 로봇을 움직일 수 있나요?
그것이 파운데이션 모델의 목표입니다. NVIDIA GR00T는 서로 다른 제조사의 휴머노이드에 이식 가능하도록 설계됐으며, 스마트폰의 안드로이드처럼 ‘로봇 OS’ 지위를 노리고 있습니다.
시뮬레이션에서 잘하면 현실에서도 잘하나요?
완전히 보장되지는 않습니다. Sim-to-Real Gap 때문에 현실 미세조정이 필요하며, 특히 부드러운 물체(옷, 음식) 조작은 시뮬레이션 정확도가 낮아 여전히 난제로 남아 있습니다.