"챗GPT와 같은 거대언어모델(LLM)은 학습할 데이터가 넘쳐나지만, 로봇이 움직이는 데 필요한 '액션(Action) 데이터'는 턱없이 부족합니다. 피지컬 AI의 성공은 결국 고품질의 행동 데이터를 어떻게 확보하느냐에 달려 있습니다."

양수열 크라우드웍스 최고기술경영자(CTO)는 19일 메트로신문·메트로경제가 서울 을지로 페럼타워에서 주최한 '2025 뉴테크놀로지 포럼'에서 '피지컬 AI 시대 VLA 모델 발전을 위한 데이터 현황과 과제'를 주제로 강연하며 이 같이 강조했다.

양수열 CTO는 피지컬 AI 구현을 위한 핵심 기술로 'VLA(Vision-Language-Action) 모델'을 꼽았다. VLA는 로봇이 카메라로 세상을 보고(Vision), 인간의 언어를 이해하며(Language), 물리적으로 행동(Action)하는 것을 통합한 아키텍처다.

그는 "현재 텍스트와 이미지 데이터는 수십억 건이 넘게 구축되어 LLM이 성숙 단계에 접어들었지만, 로봇의 행동을 정의하는 액션 데이터는 LLM 데이터셋의 0.1% 수준에도 미치지 못한다"고 지적했다. 실제로 비전·언어 데이터셋인 'LAION-5B'가 58억 건인 데 반해, 구글의 로봇 데이터셋 'RT-1'은 13만 건 수준에 불과하다.

양 CTO는 액션 데이터 부족의 원인으로 ▲높은 하드웨어 비용 ▲다양한 환경 변수 ▲데이터 정렬(Alignment)의 어려움을 꼽았다.

인터넷에서 쉽게 긁어모을 수 있는 텍스트와 달리, 액션 데이터는 실제 로봇을 움직여야만 얻을 수 있다. 양 CTO는 "데이터 수집용 휴머노이드 로봇 한 대가 2000만 원에서 1억 원에 달해 대규모 수집이 어렵다"고 설명했다.

또한 공장, 가정, 엘리베이터 등 로봇이 활동할 환경이 제각각이고, 조명이나 바닥 마찰력 등 미세한 물리적 변수가 로봇의 동작에 큰 영향을 미친다는 점도 난관이다. 시각 정보와 모터의 움직임, 사람의 명령(오디오)이 0.01초의 오차도 없이 정확히 동기화되어야 학습이 가능한데, 이를 구현하는 것도 기술적 난제다.

이러한 한계를 극복하기 위해 양 CTO는 '가상 데이터(Synthetic Data)'와 '실제 데이터(Real Data)'를 결합한 하이브리드 접근법을 제시했다.

그는 "물리 엔진 기반의 시뮬레이션(가상 환경)에서 로봇 수천 대를 돌려 대량의 데이터를 확보하고, 실제 사람이 원격 제어로 수집한 고품질 데이터를 더해 '심투리얼(Sim-to-Real) 갭'을 줄여야 한다"고 제언했다. 심투리얼 갭은 시뮬레이션과 실제 현실 사이의 물리적 차이를 뜻한다.

특히 그는 "로봇이 물건을 놓치거나 사람과 부딪히는 등의 '실패 케이스' 데이터가 매우 중요하다"며 "크라우드웍스는 텔레오퍼레이션 데이터의 시계열 정렬과 가상 데이터 검증 기술을 통해 고품질의 피지컬 AI 데이터 플랫폼을 구축하고 있다"고 밝혔다.

양 CTO는 마지막으로 "산업 현장에서 로봇을 운용하며 쌓이는 데이터가 다시 AI 학습으로 이어지는 선순환 구조가 구축되어야 피지컬 AI의 상용화 시기가 앞당겨질 것"이라고 전망했다.