미국 매사추세츠공과대학(MIT) 연구팀이 로봇이 주변 환경과 사물을 인간처럼 기억하고, 관련 질문에 답할 수 있는 인공지능(AI) 기반 '공간 기억' 시스템을 개발했다.

MIT 연구팀은 최근 컴퓨터 비전 및 패턴 인식 콘퍼런스(CVPR)에서 이 같은 내용의 'DAAAM'(Describe Anything, Anywhere, Anytime, at Any Moment) 프레임워크를 발표했다고 17일(현지시간) 밝혔다.

이 기술은 로봇이 복잡하고 넓은 환경에 대한 상세한 정신 모델을 신속하게 형성하고 기억하도록 돕는 '시공간 기억'을 구현한 것이 특징이다. 예를 들어 공장 직원이 전날 조립하다 만 부품을 어디에 뒀는지 기억하는 것과 같은 능력을 로봇에게 부여한다.

DAAAM 시스템은 로봇이 이동하며 보는 사물에 상세한 설명을 덧붙여 3D 지도에 저장하는 방식으로 작동한다. 'MIT 스테이타 센터 건물 앞 자전거 거치대에 있는 타이어가 펑크 난 빨간 자전거'처럼 구체적인 정보를 기록하고 기억할 수 있다.

연구팀은 여러 객체를 동시에 명확하게 볼 수 있는 '핵심 프레임'을 선택해 주석을 다는 최적화 기법으로 연산 속도를 10배 높였다. 이를 통해 로봇이 실시간으로 방대한 공간 정보를 처리할 수 있게 됐다.

이렇게 구축된 기억 데이터베이스에서 정보를 검색할 때는 대규모언어모델(LLM)을 활용한다. 사용자가 'MIT 건물 근처에서 본 조각상에 대해 알려줘'라고 자연어로 질문하면, 시스템은 몇 초 만에 정확한 정보를 찾아 답변한다.

실제 테스트에서 DAAAM은 기존 최첨단 방식들보다 질문 유형에 따라 21%에서 최대 53% 더 높은 정확도를 보였다.

루카 칼로네 MIT 항공우주학과 교수는 "로봇이 인간과 나란히 일하고 더 잘 상호작용하려면 인간과 같은 시공간 개념으로 추론할 수 있어야 한다"며 "우리 방법은 전통적인 지도를 로봇이 언어로 생각하기 쉬운 지도로 바꾸는 것"이라고 설명했다.

연구팀은 이 기술이 로봇공학 외에도 유지보수 작업자를 돕는 증강현실(AR) 시스템이나 통근자의 길안내 등에도 활용될 수 있을 것으로 기대했다. 향후 환경에서 발생한 주요 사건을 포착하고, 답변에 신뢰도 수준을 표시하는 기능도 추가할 계획이다.