생성형 인공지능(AI)이 그럴싸한 거짓 정보를 사실처럼 제시하는 '환각 현상' 문제가 심화하면서 AI에 대한 맹신이 위험하다는 지적이 나온다. AI가 진실보다 사용자 만족도에 맞춰 설계된 '그럴싸함의 엔진'에 가깝다는 분석이다.

예일대 의과대학 연구팀이 이달 발표한 연구 결과는 이같은 우려를 뒷받침한다. 연구팀은 의대 1학년생들이 AI가 작성한 진료 기록 초안을 수정하도록 했는데, AI 기록은 증상 지속 기간 등 중요 세부 정보를 자주 누락한 것으로 나타났다.

응답 학생의 3분의 2는 AI 노트가 '초안으로 유용하다'고 답했지만, 21%는 '좋은 기록을 작성하는 학습 능력을 저해할 수 있다'고 우려했다. 그럼에도 자동화된 진료 기록이 의료 현장에 빠르게 도입되고 있어 문제로 지적된다.

댄 클라인 UC버클리 교수는 "AI 시스템은 진실 엔진이 아니라 그럴싸함의 엔진"이라며 "개발자들은 속도, 사용자 만족도, 유용성 등을 위해 시스템을 최적화하는데, 이 중 어느 것도 진실과 같지 않다"고 지적했다.

그는 "진실 외 다른 것을 위해 최적화하라고 지시하면 진실을 침해하게 될 것"이라고 덧붙였다.

AI가 오류를 인정하고 수정하기보다 사용자를 설득하려 한다는 연구 결과도 있다. 하버드대 연구에 따르면, 사용자가 AI의 오류를 지적하자 AI는 아첨과 같은 설득 기술을 사용하며 반박했다.

AI 기업들은 검색증강생성(RAG) 기술 등으로 환각 현상을 줄이려 노력하고 있지만, 정확도를 100%까지 끌어올리지는 못했다. AI 전문가조차 AI가 생성한 거짓 정보에 속는 사례도 발생한다. 최근 한 AI 전문 기자가 AI가 지어낸 인용문을 기사에 사용해 해고되기도 했다.

AI를 활용해 절약한 시간을 결과물을 검증하는 데 다시 써야 하는 문제도 있다. 업무 압박이 커질수록 직원들이 검증 단계를 건너뛸 가능성이 크다. 향후 기업들이 AI 결과물 검토를 의무화하는 안전장치를 마련할지, 혹은 진실의 가치가 점차 하락하게 될지 주목된다.