AI가 쓴 논문인 줄…'환각 인용' 잡아내는 기술 나왔다

뉴욕대학교(NYU) 연구팀이 논문 인용 오류를 탐지하고 연구에 적합한 실험 절차를 찾아주는 인공지능(AI) 시스템 2종을 개발했다.

23일(현지시간) 뉴욕대 컴퓨터 과학자 및 학생 연구팀은 학술 인용의 '환각' 현상을 발견하고 과학 연구에 맞는 실험 프로토콜을 식별하는 웹 기반 AI 시스템 한 쌍을 개발했다고 밝혔다. 이번 연구 결과는 국제학술지 'MDPI 인포메이션'에 게재됐다.

첫 번째 도구인 '환각 너드(Hallucination Nerd)'는 논문이 인용한 문헌의 내용과 실제 주장이 일치하는지 검증한다. 이 시스템은 주장과 인용의 관계를 '지원됨', '부분적으로 지원됨', '지원되지 않음', '모순됨' 등으로 등급을 매긴다.

연구를 이끈 데니스 샤샤 교수는 "이전 연구를 정확하고 효율적으로 평가하는 것은 후속 연구를 개선할 수 있다"고 설명했다.

두 번째 도구인 '프로토콜 너드(Protocol Nerd)'는 연구 프로젝트에 필요한 실험 프로토콜을 찾는 과학자들을 돕는다. 예를 들어 '벼의 가뭄 저항성 테스트 프로토콜'을 검색하면, AI가 "벼의 성장 단계는 무엇인가?"와 같은 구체적인 질문을 통해 최적의 프로토콜을 여러 개 제시한다.

샤샤 교수는 "수십만 개의 실험 프로토콜이 존재하지만 이를 분류하는 것은 노동 집약적이고 오류가 발생하기 쉽다"고 말했다. 이어 "현재는 분자생물학과 화학 분야를 대상으로 하지만, 프로그래머가 아닌 분야 전문가도 심리학이나 경제학 등 다른 학문으로 확장할 수 있다"고 덧붙였다.

연구팀은 연구 데이터베이스를 활용해 모델을 검증했다. '프로토콜 너드'는 '펍메드(PubMed)'와 '유럽 PMC(Europe PMC)'의 논문을, '환각 너드'는 오픈 액세스 논문 저장소 '아카이브(arXiv)'를 사용해 성능을 평가했다.