키옥시아가 단일 서버에서 48억개에 달하는 고차원 벡터 검색에 성공하고, GPU를 활용해 데이터 처리 속도를 7.8배 높였다.
이번 성과는 생성형 인공지능(AI)의 기반이 되는 대규모 벡터 데이터베이스 운용의 확장성과 효율을 크게 개선한 것으로 평가된다.
17일 키옥시아에 따르면 이 회사는 자체 개발한 생성형 AI용 벡터 검색 소프트웨어 '아이작'(KIOXIA AiSAQ)과 엔비디아의 GPU 가속 기술을 결합해 이 같은 성과를 냈다. 아이작은 SSD(솔리드 스테이트 드라이브)를 활용한 근사 최근방 이웃 검색(ANNS) 기술이다.
이번 실증 실험에서 엔비디아 GPU 4개를 사용한 결과, 1024차원 고차원 벡터의 인덱스 구축 시간은 기존 28.4일에서 1.4일로 단축됐다. 전체 테스트 시간 역시 31일에서 4일로 줄어들어 7.8배 빨라졌다.
벡터 데이터베이스는 방대한 비정형 데이터에서 실시간으로 유사성을 찾아내는 생성형 AI 애플리케이션의 기반 기술이다. 데이터 규모가 수십억개를 넘어서면서 D램만으로 운용하기 어려워 SSD 기반 기술의 중요성이 커지고 있다.
제이슨 하디 엔비디아 스토리지 기술 담당 부사장은 "엔비디아의 GPU 가속 기술을 활용해 키옥시아는 전례 없는 효율로 인덱스를 구축하고 있다"고 말했다.
요코츠카 켄지 키옥시아 상무 집행 임원은 "SSD 기반 벡터 검색과 엔비디아 GPU 가속을 결합해 대규모 운용에서 실용적인 인덱스 구축을 구현했다"며 "플래시 메모리를 활용해 AI의 가능성을 넓혀나갈 것"이라고 밝혔다.
키옥시아는 지난해 아이작을 오픈소스로 공개했으며, 향후 1조개 규모의 벡터 데이터베이스를 지원하기 위해 기술 개발을 지속할 계획이다.