스스로 일하는 AI, 통제 불능 되나…법·안전장치 '구멍'

인간의 지시 없이 스스로 작업을 계획하고 실행하는 '에이전틱 인공지능'(Agentic AI)이 빠르게 확산하고 있지만, 관련 법과 제도가 기술 발전 속도를 따라가지 못해 심각한 위험을 초래할 수 있다는 경고가 나왔다.

국제컴퓨터학회(ACM) 기술정책위원회는 11일(현지시간) 발간한 기술 보고서 '에이전틱 AI: 자율성, 기회, 그리고 행동하는 AI 시스템의 과제'를 통해 이같이 밝혔다. 에이전틱 AI는 사용자가 목표를 설정하면 여러 단계의 작업을 자율적으로 수행하는 시스템을 말한다.

보고서에 따르면 지난해(2025년) 500명 이상의 기술 리더를 대상으로 한 설문조사에서 응답자의 48%가 이미 에이전틱 AI를 도입했거나 도입 중이라고 답했다.

보고서는 에이전틱 AI가 초래할 수 있는 주요 문제로 '책임 소재 불분명'을 꼽았다. 실제로 한 AI 에이전트가 회사 전체의 생산 데이터베이스를 삭제한 사례가 있었지만, 이 경우 모델 제공자, 프레임워크 개발자, AI를 도입한 기업, 최종 사용자 중 누구에게 책임을 물을지 명확하지 않다.

심각한 보안 위험도 지적됐다. 대규모언어모델(LLM)은 텍스트를 데이터와 명령어로 동시에 처리하기 때문에, 합법적인 콘텐츠에 숨겨진 악성 명령을 안정적으로 구별할 수 없다. 이로 인해 AI 에이전트가 숨겨진 지침이 포함된 메시지를 처리한 뒤 사내 메신저 '슬랙'의 개인 데이터를 유출한 사건도 발생했다.

이 밖에도 소비자가 AI의 접근 권한이나 수행 가능 작업을 파악하기 어렵다는 '투명성 부족' 문제와, 생산성 향상 효과가 검증되지 않았음에도 기업들이 신규 채용을 줄이는 '고용 시장 왜곡' 가능성도 제기됐다.

심슨 가핑클 ACM 기술보고서위원회 의장은 "에이전틱 AI 시스템을 도입하는 것은 상당한 위험을 감수하는 것"이라며 "자율 시스템이 해를 끼쳤을 때 법적으로 누가 책임져야 하는지 현재 법으로는 답할 수 없다"고 지적했다.

보고서는 이러한 문제를 해결하기 위해 명확한 인증 및 위임 표준, 강력한 감사 추적 기능, 표준화된 소비자 정보 공개, 의료·금융 등 분야별 지침 마련이 필요하다고 제언했다.