클로드, 코덱스 등 최신 인공지능(AI) 모델이 해커의 악성코드 유포 통로로 악용될 수 있다는 연구 결과가 나왔다.
한 보안 연구팀은 30일(현지시간) AI 에이전트가 웹사이트의 잘못된 문서를 읽고 기업 내부망에 악성코드를 설치할 수 있는 신종 사이버 보안 위협을 발견했다고 밝혔다. 이는 AI의 '환각' 현상이나 오래된 정보가 해킹에 악용될 수 있음을 시사한다.
연구팀은 방산업체, 포춘 500대 기업, 빅테크 등 6214개 기업의 도메인을 분석했다. 이들 웹사이트에는 AI 에이전트가 사이트 콘텐츠를 읽도록 안내하는 'llms.txt' 파일이 존재한다. 분석 결과, 120개 사이트의 파일에서 등록되지 않은 코드 패키지나 도메인을 참조하는 오류가 발견됐다.
연구팀은 이 중 등록되지 않은 일부 도메인과 패키지를 직접 등록하고, 설치 시 연구팀 서버로 신호를 보내는 코드를 심었다. 실험 시작 1시간도 채 안 돼 한 포춘 500대 기업의 AI 시스템이 신호를 보내왔고, 이후 수십 곳에서 추가적인 신호가 감지됐다.
이는 사이버 범죄자가 같은 방식으로 등록되지 않은 도메인을 선점해 악성코드를 심어둘 경우, 해당 문서를 읽은 AI 에이전트가 기업 시스템을 감염시킬 수 있다는 의미다. 이러한 오류는 단순 복사·붙여넣기 실수, 관리되지 않는 패키지, AI가 잘못된 문서를 생성하는 환각 현상 등 다양한 원인으로 발생한다.
연구팀은 앤트로픽의 '클로드', 오픈AI의 '코덱스', 누스 리서치의 '헤르메스' 등 다수 AI 모델이 이같은 공격에 취약한 것으로 나타났다고 설명했다.
전문가들은 해결책으로 기업들이 웹사이트 문서를 최신 상태로 유지하고, AI 에이전트가 문서를 실행 가능한 명령으로 취급하지 않도록 제한해야 한다고 조언했다. 특히 코딩에 AI를 활용하는 기업은 AI에 명령어 실행 권한을 부여할 때 각별한 주의가 필요하다고 강조했다.