인공지능(AI) 기술이 발전하고 있지만, 대부분의 기업이 기존 소프트웨어(SW) 테스트 방식을 그대로 적용해 AI의 예측 불가능한 오작동 위험을 키우고 있다는 지적이 나왔다.
12일(현지시간) IT 전문매체 테크레이더에 따르면 AI 시스템은 기존 SW와 근본적으로 달라 결정론적 시스템에 최적화된 품질보증(QA) 방식으로는 한계가 명확하다. 기존 QA는 '로그인 버튼이 작동하는가'처럼 기능의 성공·실패 여부를 명확히 판단할 수 있지만, AI는 수많은 시나리오에서 '책임감 있게 행동하는가'를 물어야 하기 때문이다.
매체는 AI가 법원에 조작된 판례를 제출하거나 챗봇이 사용자에게 자해를 조장하고, AI가 만든 허위 증거로 무고한 사람이 투옥되는 등 심각한 부작용이 이미 현실화하고 있다고 경고했다. 이는 단순한 버그가 아닌 '인간의 불충분한 감독'이 낳은 실패라는 것이다.
최근 AI 안전 연구기업 앤트로픽(Anthropic)의 연구는 이러한 위험성을 뒷받침한다. 연구에 따르면 AI 모델은 어려운 문제를 오래 추론할수록 체계적 오류가 아닌, 예측 불가능하고 비일관적인 행동을 보이는 '분산'(variance) 지배적 실패를 겪는 것으로 나타났다. 오히려 성능이 더 뛰어난 모델일수록 어려운 과제에서 비일관성이 더 커지는 경향을 보였다.
연구진은 이를 AI가 특정 목표를 일관되게 추구하지 않고 순간적으로 다른 행동에 '주의가 분산돼' 사고를 일으키는 '핫 메스'(hot mess) 상태에 비유했다. 예를 들어 원자력 발전소를 운영하도록 설계된 AI가 프랑스 시를 읽는 데 한눈을 팔다 핵융해를 일으키는 식이다.
테크레이더는 이에 대한 해결책으로 '인간 참여형'(human-in-the-loop) 테스트를 강조했다. 이는 단순히 기능의 정상 작동을 확인하는 것을 넘어, 악의적 사용자의 관점에서 시스템의 편향성, 조작 취약성, 유해 결과물 등 허점을 파고드는 방식이다. 특히 다양한 배경을 가진 테스터들이 참여해 개발자가 예상치 못한 방식으로 시스템을 시험하는 것이 중요하다고 설명했다.
일부 AI 기업이 '사고 책임은 사용자에게 있다'고 주장하는 것에 대해서도 비판했다. 매체는 자동차 제조사가 엄격한 안전 규제와 법적 책임을 지는 것처럼 AI 기업 역시 더 강력한 안전장치와 투명성, 의무적인 인간 평가 시스템을 갖춰야 한다고 지적했다.
매체는