인공지능(AI) 칩 선두 주자 엔비디아가 기존 '훈련' 시장을 넘어 '추론' 시장으로의 본격적인 전환을 선언했다.
17일(현지시간) 월스트리트저널(WSJ)에 따르면 젠슨 황 엔비디아 최고경영자(CEO)는 연례 AI 콘퍼런스 'GTC'에서 "추론의 변곡점이 도래했다"고 밝혔다. 이는 AI 산업의 중심이 모델을 만드는 '훈련'에서, 만들어진 모델을 실제 서비스에 적용하는 '추론'으로 이동하고 있음을 공식화한 것이다.
AI 훈련이 막대한 연산 능력으로 모델을 학습시키는 과정이라면, 추론은 학습된 모델이 사용자의 질문에 빠르고 정확하게 답하도록 구동하는 단계다. 추론 과정은 더 많은 메모리 반도체와 빠른 응답 속도를 요구한다.
엔비디아는 추론 시장 공략을 위해 최근 200억달러(약 28조8000억원)를 투입해 팹리스(반도체 설계) 스타트업 '그록'(Groq)의 기술 라이선스와 핵심 인력을 확보했다. 이를 바탕으로 추론에 특화된 새로운 칩을 선보일 계획이다.
업계는 AI 모델 개발 단계를 지나 이를 활용한 수익화 국면에 접어들면서 추론 기술의 중요성이 커졌다고 분석한다. 빠르고 안정적인 답변을 제공하는 것이 서비스 경쟁력의 핵심이 됐기 때문이다.
WSJ은 엔비디아가 고대역폭메모리(HBM) 등 핵심 부품 공급망을 선점하고 있어 추론 시장에서도 쉽게 뒤처지지는 않을 것이라고 전망했다. 다만, 훈련용 칩보다 가격 경쟁이 치열한 추론 시장에서 기존의 높은 수익성을 유지하기는 어려울 수 있다고 지적했다.
추론 칩 시장의 경쟁은 이미 치열해지고 있다. AMD가 추론 시장에 총력을 기울이고 있으며, 스타트업 세레브라스는 오픈AI와 100억달러 규모의 라이선스 계약을 맺고 맞춤형 추론 칩 개발에 나섰다.