"언어 달라도 같은 사건"…AI, 중국어·베트남어 뉴스 자동 분류

중국어와 베트남어로 작성된 뉴스를 같은 사건 단위로 자동 분류하는 인공지능(AI) 기술이 개발됐다.

정타오 위(Zhengtao YU)가 이끄는 연구팀은 '연관성 그래프 모델'에 기반한 중국어-베트남어 이중 언어 뉴스 토픽 발견 방법을 개발했다고 밝혔다. 해당 연구 결과는 국제학술지 '컴퓨터 과학의 프론티어(Frontiers of Computer Science)' 9월 15일 자에 게재됐다.

이 기술은 그래프 모델을 이용해 사건 간의 복잡한 구조와 관계를 파악한다. 기존 다국어 뉴스 분석 기술은 언어 간 병렬 말뭉치(parallel corpora)가 부족하고, 사건 네트워크 전반에 걸친 연관성 전파를 간과하는 한계가 있었다.

연구팀은 관련 보도 사이의 요소 연관성, 개체 동시 발생, 텍스트 내용 유사성 등의 특징을 활용해 중국어-베트남어 이중 언어 연관성 그래프를 구축했다. 이후 '친화도 전파(AP)' 알고리즘으로 1차 군집화를 진행하고, 연관성 강도에 따라 가중치를 동적으로 업데이트하며 결과를 조정한다.

이 과정에서 두 언어의 뉴스가 군집화 과정을 감독하는 역할을 해 언어적 차이가 결과에 미치는 영향을 줄인다. 실험 결과, 제안된 방법은 특히 데이터가 부족한 저자원 언어 환경에서 기존 모델보다 훨씬 뛰어난 성능을 보였다.

연구팀은 향후 정적 주제 분석을 기반으로 주제의 진화와 추적에 대한 연구를 진행할 계획이다. 이를 통해 특정 주제가 시작되어 정점에 이르고 쇠퇴하는 전체 과정을 분석하는 것이 목표다.