"걷고 잡는 법 따로 배워 척척"…서울대, 휴머노이드 AI 개발

서울대학교 연구팀이 이동과 물체 조작을 따로 학습해 여러 단계의 복합 임무를 순차적으로 수행하는 휴머노이드 인공지능(AI)을 개발했다.

2일 서울대학교 공과대학 전기·정보공학부 오성회 교수 연구팀은 이동과 물체 조작 시연을 독립적으로 수집해 공동으로 학습하는 시각-언어-행동(VLA) 프레임워크 'RISE'를 개발했다고 밝혔다. 이 연구는 로봇 및 지능 시스템 분야 국제 학술대회 'IROS 2026'에 채택됐다.

기존 휴머노이드 로봇은 걷기, 물체 집기, 옮기기 등 여러 행동을 순차적으로 수행해야 한다. 하지만 이동과 조작은 사용하는 관절과 움직임 특성이 달라 단일 AI 모델로 안정적인 학습이 어려웠다. 특히 두 행동이 전환되는 연속 동작 데이터는 수집 과정에서 중간 단계 실패 시 전체 시연이 무용지물이 될 수 있어 확보가 까다로웠다.

연구팀이 개발한 RISE는 공유된 시각-언어 인식 모델에 다수의 행동 전문가와 이를 조정하는 메타 제어기를 결합한 AI 프레임워크다. 학습 과정에서 각 전문가가 현재 행동을 얼마나 정확하게 예측하는지 평가해 '책임'을 계산하고, 책임이 높은 전문가가 해당 데이터 학습에 더 큰 영향을 미치도록 설계했다. 이를 통해 사전 역할 지정 없이도 전문가들이 자연스럽게 이동 또는 조작으로 전문화된다.

또한 연구팀은 실행 중 메타 제어기가 출력하는 전문가 가중치의 변화를 임무 전환 신호로 활용했다. 현재 행동 특성에 따라 전문가 가중치가 달라지는 점에 착안해, 현재 임무가 끝나는 시점을 판단하고 다음 임무로 자연스럽게 넘어가도록 했다.

연구팀은 시뮬레이션과 실제 휴머노이드 로봇 '유니트리 G1'을 이용해 RISE의 성능을 검증했다. 시뮬레이션 실험에서 RISE는 평균 87.3%의 성공률을 기록해 엔비디아가 공개한 범용 모델 'GR00T' 기반 단일 전문가 구조(73.6%)보다 높은 성능을 보였다. 실제 로봇 실험에서도 평균 50.0%의 성공률을 달성해 GR00T 기반 모델(30.0%)을 20%포인트 앞섰다.

이번 연구는 휴머노이드 로봇 훈련을 위해 완전하고 연속적인 임무 시연 데이터를 반복적으로 수집해야 하는 부담을 줄이는 방법을 제시했다는 점에서 의의가 있다. 향후 물류센터 상품 운송, 제조 환경 부품 이동 등 이동과 조작이 함께 발생하는 작업에 우선 적용될 수 있을 것으로 기대된다.

연구를 총괄한 오성회 교수는 "휴머노이드 로봇이 실제 환경에서 다양한 작업을 수행하려면 이동과 조작처럼 특성이 다른 행동들을 안정적으로 학습하고 필요에 따라 자연스럽게 전환할 수 있어야 한다"고 말했다.

오 교수는 이어 "이번 연구는 서로 다른 행동이 모두 포함된 시연을 직접 수집하지 않고도, 분리 수집된 데이터만으로 연속적인 복합 임무 수행 가능성을 보였다는 데 의미가 있다"며 "향후 이동과 조작이 순차적으로 일어나는 구조를 넘어, 움직이면서 물체를 조작하는 등 더 복잡한 전신 행동으로 기술을 확장할 계획"이라고 덧붙였다.