"말 잘하는 챗봇, 틀려도 똑똑해 보여"…80%가 속았다

유창한 언어를 구사하는 챗봇은 틀린 정보를 제공하더라도 사용자에게 더 지능적이고 유용하게 인식된다는 연구 결과가 나왔다.

29일(현지시간) 네덜란드 래드바우드 대학교 커뮤니케이션 과학자 연구팀은 챗봇의 언어 유창성이 신뢰도에 미치는 영향을 분석한 연구 결과를 발표했다.

연구팀은 실험 참가자들에게 '반지의 제왕'에 대한 챗봇과의 대화 네 가지 버전을 보여줬다. 두 버전은 유창하고 인간적인 문장을 사용했으며, 하나는 정답을 다른 하나는 오답을 제시했다. 나머지 두 버전은 짧고 딱딱한 답변을 했으며, 마찬가지로 각각 정답과 조작된 사실을 제공했다.

실험 결과, 유창한 언어로 사실과 다른 내용을 말한 챗봇이 딱딱한 말투로 정확한 정보를 제공한 챗봇만큼 지능적이고 호감 있다는 평가를 받았다.

특히 '반지의 제왕'에 대한 기본 지식이 있는 참가자 중 80%는 챗봇의 오류를 전혀 인지하지 못했다.

연구 공동 저자인 바바라 뮐러 부교수는 "사람들이 얼마나 쉽게 오도되고, 실제로는 헛소리를 하는 것을 얼마나 빨리 신뢰하게 되는지를 보여준다"고 말했다. 그는 "글이 유창하고 자연스럽게 들리면 사람들은 무의식적으로 지능이 있다고 여기고 더 확인할 필요가 없다고 생각하는 경향이 있다"고 덧붙였다.

연구에 참여한 티보르 보세 교수는 "GPT나 클로드와 같은 언어 모델은 통계적으로 그럴듯하고 읽기 쉬운 문장을 생성하도록 훈련받는다"며 "이 시스템들은 진실을 항상 중요하게 여기지 않는다"고 지적했다.

보세 교수는 "사용자를 챗봇의 오류로부터 보호하려면 기술 기업이 AI의 불확실성을 시각적으로 표시하도록 의무화해야 한다"고 제안했다. 그는 "챗봇 스스로 의심을 표현하면 사람들이 헛소리를 진실로 받아들이는 것을 막을 수 있다"고 강조했다.

이번 연구 결과는 국제 학술지 '인간 행동 속 컴퓨터 인공 인간'(Computers in Human Behavior Artificial Humans)에 게재됐다.