사람은 눈 두 개로 세상을 보지만, 휴머노이드 로봇 한 대에는 카메라, 레이저, 관성센서, 촉각센서까지 수십 개의 감각기관이 동시에 작동합니다. 피지컬 AI의 첫 단계인 ‘인지(Perception)’가 어떻게 이뤄지는지 하나씩 뜯어보겠습니다.
로봇 인지는 RGB-D 카메라(색+깊이), LiDAR(레이저 거리측정), IMU(자세·가속도), 촉각센서(접촉force)의 데이터를 실시간으로 융합해 3차원 환경 지도를 만드는 과정입니다. 최신 휴머노이드는 순수 카메라 기반(Tesla) 방식과 멀티센서 융합(대부분의 제조사) 방식으로 나뉘며, 손끝 촉각센서가 정밀 조작의 핵심 격전지로 떠올랐습니다.
로봇의 4대 핵심 센서
| 센서 | 역할 | 사람의 감각으로 치면 | 한계 |
|---|---|---|---|
| RGB-D 카메라 | 색상 + 픽셀별 거리 인식 | 눈 | 어둠·역광에 취약 |
| LiDAR | 레이저로 정밀 거리 측정, 3D 점군 생성 | 초음파적 공간감 | 비·안개 산란, 고가 |
| IMU | 기울기·가속도·회전 감지 | 전정기관 (균형감각) | 누적 오차 발생 |
| 촉각센서 | 접촉 압력·미끄러짐 감지 | 손끝 피부 | 내구성·비용 |
인지 파이프라인: 데이터가 지능이 되는 과정
1단계 — 센서 융합 (Sensor Fusion)
각 센서는 서로 다른 주기와 좌표계로 데이터를 쏟아냅니다. 카메라는 초당 30~60프레임, IMU는 초당 수백~수천 회 갱신됩니다. 이를 하나의 시공간 좌표로 정렬하는 것이 센서 융합이며, 칼만 필터와 딥러닝 기반 융합 네트워크가 함께 사용됩니다.
2단계 — 3차원 환경 인식
융합된 데이터로 로봇은 SLAM(동시적 위치추정 및 지도작성)을 수행합니다. 내가 어디에 있고, 주변에 무엇이 있는지를 실시간으로 갱신하는 과정입니다. 최신 모델은 여기에 시맨틱 인식(이것이 컵인지, 사람인지 구분)을 더해 단순 장애물 지도를 ‘의미 지도’로 업그레이드했습니다.
3단계 — 행동을 위한 표현 변환
Figure의 Helix 02 같은 VLA(Vision-Language-Action) 모델은 카메라 픽셀을 곧바로 행동 명령으로 변환합니다. 이른바 ‘pixels-to-actions’ 방식으로, 인지와 행동 사이의 중간 단계를 최소화해 반응 속도를 높였습니다.
카메라 온리 vs 멀티센서, 업계의 두 노선
- 카메라 온리(Tesla) — Optimus는 자율주행 FSD와 동일하게 카메라 위주 인지를 채택했습니다. 비용이 낮고 사람과 같은 방식으로 학습할 수 있다는 장점이 있지만, 깊이 추정을 신경망에 전적으로 의존합니다.
- 멀티센서 융합(대다수 제조사) — Boston Dynamics Atlas, Agility Digit 등은 LiDAR·깊이카메라를 병용합니다. 안전이 최우선인 산업 현장에서는 센서 중복(redundancy)이 사실상 표준입니다.
- 촉각 강화(차세대 트렌드) — NVIDIA가 GTC 2026에서 공개한 Isaac GR00T 레퍼런스 휴머노이드는 다섯 손가락에 촉각센서를 탑재했습니다. 계란을 쥐는 힘 조절 같은 정밀 조작이 가능해집니다.
로봇 인지 기술 자주 묻는 질문
LiDAR 없이 카메라만으로 안전한 로봇이 가능한가요?
기술적으로는 가능하지만 논쟁 중입니다. Tesla는 카메라 온리로 충분하다는 입장이지만, 산업 안전 규격이 적용되는 공장·물류 현장에서는 센서 중복이 요구되는 경우가 많아 대부분의 제조사가 멀티센서를 유지하고 있습니다.
촉각센서는 왜 갑자기 중요해졌나요?
이동(walking)은 대부분 해결됐지만, 조작(manipulation)이 아직 어렵기 때문입니다. 물건을 쥘 때 필요한 힘 조절, 미끄러짐 감지는 시각만으로 불가능해 손끝 촉각이 차세대 휴머노이드의 핵심 경쟁력이 됐습니다.
인지 데이터 처리는 로봇 내부에서 하나요, 클라우드에서 하나요?
안전에 직결되는 인지·제어는 반드시 로봇 내부(온보드)에서 처리합니다. 통신 지연이 생기면 사고로 이어지기 때문입니다. 클라우드는 학습 데이터 수집과 모델 업데이트에 활용됩니다.