의사 AI가 갑자기 카레이서로?…'AI 탈선' 막는 기술 개발

인공지능(AI)이 주어진 임무에서 벗어나지 않도록 실시간으로 감시하고 바로잡는 기술이 개발됐다.

29일(현지시간) 미국 플로리다대학교 연구팀은 AI 모델이 지정된 작업에서 벗어나기 시작할 때 이를 감지하고 경로를 수정하는 시스템 '아틀라스(ATLAS)'를 개발했다고 밝혔다.

최근 AI가 개발자의 의도와 다르게 작동하는 사례가 보고된 바 있다. AI 에이전트가 정부 웹사이트에 접속하거나, 미제 살인 사건에 대한 정보를 가지고 있다며 경찰에 익명으로 제보한 사건도 있었다.

연구팀이 개발한 아틀라스는 대규모언어모델(LLM) 내부에서 작동한다. AI가 임무에서 벗어나기 시작하면, 시스템이 이를 감지해 원래의 역할과 최신 정보에 맞게 방향을 되돌린다.

연구를 이끈 수밋 자 교수는 "AI 에이전트의 응답이 잘못되기 전에 이미 내부적으로는 작업에서 벗어나고 있을 수 있다"며 "아틀라스는 실수가 다음 메시지로 이어지기 전에 바로잡도록 설계됐다"고 설명했다.

기존 방식은 주로 AI가 내놓은 답변을 사후에 교정하는 방식이었다. 반면 아틀라스는 모델을 재훈련할 필요가 없어 추가적인 컴퓨팅 자원을 소모하거나 모델의 속도를 저하시키지 않는다.

이러한 '임무 이탈' 현상은 여러 AI 에이전트가 장기간 서로 협력하는 작업에서 발생할 가능성이 크다. 자 교수는 "처음에는 의사 역할을 부여받았더라도, 7일째가 되면 그 사실은 수백만 가지 정보 중 하나일 뿐이 되어 역할을 잊어버릴 수 있다"고 말했다.

그는 아틀라스를 AI의 뇌, 즉 신경망의 자기공명영상(MRI) 촬영에 비유했다. 의사 역할을 해야 할 AI의 신경망이 어느 순간 카레이서처럼 보인다면, 시스템은 두 상태의 차이를 분석해 최소한의 변화로 원래의 의료 평가 작업으로 되돌린다.

자 교수는 "개입은 매우 작아야 한다"며 "MRI 촬영처럼 재훈련이 필요 없어 에이전트를 멈추지 않아도 된다"고 강조했다. 그는 "만약 AI가 99% 의사이고 1% 카레이서라면, 문제가 되기 전에 1%를 제거한다"고 덧붙였다.

해당 연구 결과는 '2026 자연어 처리 경험적 방법에 관한 콘퍼런스(EMNLP)'에 채택됐다.