AI, 글과 이미지 섞인 대화도 맥락까지 파악

텍스트만 있는 대화와 이미지가 섞인 멀티모달 대화를 하나의 모델로 분석하는 인공지능(AI) 기술이 개발됐다.

중국 쑤저우대학교 공 첸 박사 연구팀은 텍스트와 멀티모달 시나리오를 단일 모델로 처리하는 '통합 대화 담론 분석 프레임워크'를 개발했다. 이번 연구 결과는 국제 학술지 '컴퓨터 과학의 프론티어'(Frontiers of Computer Science)에 지난 9월 15일 게재됐다.

대화 담론 분석은 대화 속 발화 간의 관계를 파악해 복잡한 대화의 구조와 의미를 이해하는 기술이다. 기존 연구는 텍스트 전용 파서와 멀티모달용 파서를 별도로 개발해왔다. 이는 다양한 데이터를 완전히 활용하기 어렵게 만들고 실제 AI 응용에 한계를 보였다.

연구팀은 이 문제를 해결하기 위해 2단계 훈련 방법을 제안했다. 1단계에서는 텍스트 전용 데이터셋으로 기본적인 텍스트 대화 담론 파서를 사전 훈련시킨다.

2단계에서는 멀티모달 발화 표현 모듈과 융합 모듈을 도입해 모델을 확장한다. 이후 1단계에서 학습된 매개변수를 초기값으로 사용하고 이를 고정한 채, 멀티모달 데이터셋으로 새로운 매개변수만 훈련한다.

연구팀은 3개의 데이터셋을 이용한 실험에서 제안된 접근 방식이 기존 여러 벤치마크보다 평균적으로 상당한 성능 향상을 보였다고 설명했다. 이는 통합 프레임워크가 다양한 양식에 걸쳐 일반성과 효과성을 입증한 것이라고 덧붙였다.