10시간 걸리던 AI 학습, 3시간으로…KAIST, 핵심 기술 개발

카이스트(KAIST)가 10시간 걸리던 인공지능(AI) 추가 학습을 3시간 만에 끝내는 기술을 개발했다.

카이스트는 2일 전산학부 이재길 교수 연구팀이 학습에 비슷한 효과를 주는 데이터를 묶어 골고루 분배하는 대규모 언어 모델 추가 학습 기술 '클러스터(CluSTER)'를 개발했다고 밝혔다.

AI를 코딩이나 의료 등 특정 분야에 활용하려면 관련 데이터를 추가로 학습시켜야 하는데, 이를 '미세조정(fine-tuning)'이라 한다. 이 과정은 막대한 연산을 필요로 해 여러 개의 그래픽처리장치(GPU)가 데이터를 나눠 병렬로 처리한다.

기존 방식은 데이터를 무작위로 분배해 여러 GPU가 비슷한 학습 효과를 내는 데이터를 중복 처리하는 비효율이 발생했다.

연구팀은 AI 학습에 미치는 영향을 분석해 비슷한 효과를 내는 데이터끼리 그룹으로 묶었다. 이후 각 그룹에서 데이터를 선별하고 여러 GPU가 다양한 학습 정보를 균등하게 처리하도록 분배했다.

연구팀이 코딩 및 의료 분야 3개의 학습 데이터로 약 70억개와 130억개의 매개변수를 가진 대규모 언어 모델을 미세조정한 결과, 전체 데이터의 약 31%만으로도 기존과 거의 동일한 성능을 유지했다. 학습 시간은 최대 69.6% 단축됐다.

이는 10시간이 걸리던 학습을 약 3시간 만에 완료할 수 있는 수준이다. 연구팀은 주로 4개의 GPU를 사용하는 환경에서 실험했으며, 8개 GPU 환경에서도 기존 방식보다 우수한 성능을 확인했다.

이재길 교수는 "AI 학습 효율을 높이려면 더 많은 GPU를 사용하는 것뿐만 아니라 어떤 데이터를 학습에 사용할지 지능적으로 선택하는 것이 중요하다"며 "기존 GPU 자원을 더 효율적으로 사용해 대규모 AI 모델의 학습 부담을 줄일 수 있음을 보였다는 점에서 의의가 있다"고 말했다.

이번 연구는 자연어 처리 분야 국제 학회 'EMNLP 2026'에서 지난 10월 발표됐다. 카이스트 전산학부 김현진 박사과정이 제1 저자로, 이재길 교수가 교신저자로 참여했다.