인공지능(AI) 컴퓨팅 시장의 무게중심이 모델 '학습'(training)에서 '추론'(inference)으로 빠르게 이동하며 반도체 업계의 지각변동을 예고하고 있다.

16일(현지시간) 월스트리트저널(WSJ)은 시장조사업체 가트너를 인용해 올해 전 세계 AI 추론 인프라에 대한 자본 지출이 사상 처음으로 학습 분야를 넘어설 것이라고 보도했다. 가트너는 2029년에는 추론 분야 지출이 720억달러로, 학습 분야(370억달러)의 두 배에 육박할 것으로 전망했다.

이러한 변화는 반도체 시장의 판도를 바꾸고 있다. 지금까지는 AI 모델 학습에 필수적인 그래픽처리장치(GPU)를 앞세운 엔비디아가 시장을 주도했다. 그러나 추론의 중요성이 커지면서 구글, 삼바노바 시스템즈 등 추론 연산에 특화된 칩을 개발하는 기업들이 주목받고 있다.

AI 시장의 절대 강자인 엔비디아 역시 발 빠르게 대응에 나섰다. 엔비디아는 지난해 12월 추론용 칩 설계 기업 그록(Groq)의 기술 라이선스와 핵심 인력을 확보하는 데 200억달러(약 28조8000억원)를 투자했다.

AI 모델 '학습'이 방대한 데이터를 주입해 모델을 만드는 과정이라면, '추론'은 학습된 모델이 사용자의 질문이나 명령에 실시간으로 응답하는 단계를 의미한다. 챗봇에 질문을 입력하고 답변을 받는 모든 과정이 추론에 해당한다.

학습 과정은 오랜 시간에 걸쳐 방대한 데이터를 처리해야 하므로 강력한 연산 능력이 중요하다. 반면 추론은 사용자의 요구에 즉각 반응해야 하므로 지연 시간을 줄이고 데이터를 빠르게 처리할 수 있는 고대역폭 메모리(HBM) 등의 역할이 더 부각된다.

기업들이 AI를 활용한 회계 소프트웨어, 여행 예약 서비스 등으로 수익화에 나서면서 추론의 비용 효율성이 핵심 경쟁력으로 떠올랐다. 팀 브린 글로벌파운드리스 최고경영자(CEO)는 WSJ에 "지금은 추론 비용을 낮추는 것이 관건"이라고 말했다.

제이콥 펠드고이즈 조지타운대 AI 연구원은 "추론 비중이 높은 기업일수록 특화된 칩을 사용할 때 성능 향상 효과를 볼 수 있다"고 분석했다.