AI 반도체 전쟁, 학습에서 추론으로… ‘메모리 벽’ 깨는 d-매트릭스[최중혁의 월가를 흔드는 기업들-창업가편]

AI 추론 반도체 기업 ‘d-매트릭스’ 공동창업자 겸 CEO 시드 셰스 인터뷰인공지능(AI) 반도체를 둘러싼 경쟁의 무게중심이 옮겨가고 있다. 지난 몇 년간 업계의 관심은 모델을 만드는 ‘학습(training)’에 쏠려 있었다. 더 큰 모델을 더 빨리 훈련하기 위해 그래픽처리장치(GPU)를 얼마나 확보하느냐가 경쟁력의 척도였다. 그러나 챗GPT 등장 이후 수억 명이 매일 AI를 사용하면서 무게중심은 이미 만들어진 모델을 실제로 구동하는 ‘추론(inference)’으로 이동하고 있다.추론의 세계에서는 경쟁의 규칙이 다르다. 학습이 얼마나 많은 연산을 처리할 수 있느냐의 싸움이라면, 추론은 사용자가 질문을 던진 뒤 답을 받기까지 걸리는 시간을 줄이는 싸움이다. 최근 코딩 에이전트나 실시간 음성 비서처럼 사람과 정보를 주고받는 속도 자체가 제품의 성패를 가르는 응용 서비스가 쏟아지면서 지연시간(latency)은 부가적인 사양이 아니라 핵심 성능 지표가 됐다.그런데 지연시간을 좌우하는 것은