AMD, 타알라스 인수…GPU보다 48배 빠른 추론칩 확보

AMD가 AI 모델의 가중치를 실리콘 자체에 새겨 넣어 추론 성능을 끌어올리는 스타트업 타알라스(Taalas)를 인수한다. 인수 계약은 목요일(현지시각) 정규장 마감 후 발표됐다. AMD 측은 인수 금액을 공개하지 않았지만, 더 레지스터(The Register)는 이번 거래가 단순 인재 영입(인재 영입)이 아닌 실제 인수합병으로 파악된다고 전했다. 이는 지난해 12월 엔비디아가 그록(Groq)과 맺은 200억달러 규모 딜과 비슷한 맥락으로, 코드 어시스턴트 같은 AI 에이전트용 고성능 추론 서비스를 더 빠르고 싸게 돌리려는 목적이라고 매체는 짚었다. 딜은 규제 당국 승인을 전제로 4분기 중 마무리될 예정이다.

타알라스는 어떤 회사인가

2023년 설립된 타알라스는 캐나다 토론토에 본사를 둔 스타트업이다. 설립 이후 벤처 투자로 총 2억1900만달러를 조달했다고 CNBC는 전했다. 이 회사의 핵심 기술은 일반 GPU가 고대역폭 메모리(HBM)에 모델 가중치를 저장하는 방식과 달리, 가중치 자체를 실리콘에 직접 새겨 넣는 것이다. 더 레지스터는 이런 구조를 두고 “모델별 맞춤 집적회로(MSIC)”라고 표현했다. 칩은 가중치를 새기는 마스크 롬(mask-ROM) 영역과, 키-값(KV) 캐시나 파인튜닝 어댑터를 담는 SRAM 영역 두 부분으로 구성된다.

타알라스는 올해 2월 TSMC의 6나노(nm) 공정으로 제작한 첫 테스트칩 HC1을 공개했다. 당시 벤치마크에서 메타의 라마(Llama) 3.1 8B 모델을 초당 1만6960개 토큰 속도로 처리했다. 공개 시점 기준 엔비디아 GPU보다 48배, 세레브라스(Cerebras) 가속기보다 8.5배 빠른 수치였다고 회사 측은 밝혔다. 타알라스 CEO Ljubisa Bajic는 회사 홈페이지에 “어떤 AI 모델이든 전용 실리콘으로 바꾸는 플랫폼을 개발했다”며 “한 번도 본 적 없는 새 모델을 받아도 단 두 달 안에 하드웨어로 구현할 수 있다”고 적었다.

HC2와 헬리오스 조합, 조 단위 파라미터 모델까지 겨냥

이번 여름 출시될 예정인 2세대 칩 HC2는 파라미터 규모를 200억 개까지 늘리는 것이 목표다. 더 레지스터에 따르면 칩당 200억 파라미터를 처리할 수 있으면 1조 파라미터급 모델을 지원하는 데 필요한 가속기는 단 50개면 충분하다. 이는 같은 규모 모델을 처리하려면 GPU 수십 개와 그록 LPU 최소 2000개가 필요한 엔비디아의 LPX 시스템보다 공간·전력 효율이 훨씬 높다는 게 매체의 분석이다.

AMD는 자사의 랙스케일 컴퓨팅 플랫폼 헬리오스(Helios)에 인스틴트(Instinct) 가속기와 타알라스 기반 칩을 결합할 계획이다. 프롬프트 처리처럼 연산량이 많은 작업은 GPU가 맡고, 토큰 생성은 타알라스 가속기로 넘기는 분리형(disaggregated) 구조가 될 것으로 보인다고 더 레지스터는 추정했다. AMD AI 담당 수석부사장 Vamsi Boppana는 “AMD는 고객이 모든 AI 워크로드에 맞는 컴퓨팅 솔루션을 유연하게 선택할 수 있는 풀스택 AI 플랫폼을 구축하고 있다”고 밝혔다.

모델 고정이라는 트레이드오프

타알라스 방식의 최대 약점은 한번 칩을 배치하면 그 모델에 묶인다는 점이다. 로라(LoRA) 어댑터 수준을 넘는 변경이 필요하면 칩을 다시 제작해야 하는데, 비용과 시간이 상당히 든다. AI 업계에서 새 모델이 거의 매달 쏟아지는 상황을 고려하면 AMD 고객들은 타알라스 기술의 이점을 누리려면 모델 선택에 확신이 있어야 한다.

다만 더 레지스터는 재제작이 완전히 처음부터 다시 시작하는 것은 아니라고 짚었다. 금속층 두 개만 바꾸면 되기 때문에 비용과 시간이 훨씬 덜 든다는 설명이다. 타알라스는 올해 2월 더 레지스터의 자매 매체 더 넥스트 플랫폼(The Next Platform)과의 인터뷰에서, 모델 가중치를 실리콘에 새기는 작업이 최신 프런티어 모델을 학습시키는 것보다 100배 저렴하다고 주장한 바 있다. 오픈AI, 앤트로픽, 메타가 모두 AMD 인스틴트의 주요 고객인 만큼 향후 GPT나 클로드 같은 모델이 타알라스와 인스틴트를 함께 쓰는 조합으로 서비스될 가능성도 있다는 관측이 나온다. 추론 시간을 늘려 정확도를 높이는 테스트타임 스케일링(test-time scaling) 기법은 토큰 소비량이 많아 비용 부담이 크다. AMD의 타알라스 인수로 토큰당 비용이 낮아지고 처리 속도가 10배에서 20배 빨라진다면, 모델 개발사들이 추론 시간을 더 늘리는 선택을 할 수 있다는 전망도 있다.

AMD의 인수 행보와 업계 구도

이번 인수는 AMD가 헬리오스 랙을 완성하기 위해 벌여온 일련의 인수 흐름과 맞닿아 있다. AMD는 앞서 2024년 AI 모델을 개발하는 실로AI(Silo AI)를 6억6500만달러에, 랙스케일 제품의 기술적 토대가 된 ZT시스템즈를 49억달러에 인수했다. 지난해에는 추론용 소프트웨어를 만드는 MK1을 포함해 여러 소규모 AI 기업을 사들였다. 지난 7월에는 세레브라스와 파트너십을 맺고 올해 안에 세레브라스 AI 칩을 자사 시스템에 통합하기로 했다.

AMD는 최근 헬리오스를 메타, 마이크로소프트 등에 출하하기 시작했다. 엔비디아의 통합형 서버 랙에 맞서는 첫 랙스케일 제품이다. CNBC에 따르면 AMD 최고경영자(CEO) 리사 수는 지난 7월 제품 발표 행사에서 “칩에 있어 하나로 모든 걸 해결할 수는 없다고 믿는다”고 말했다. 그러면서도 GPU가 새로 나오는 모델을 폭넓게 지원할 수 있는 유연성 덕분에 AI 칩 시장의 대다수를 계속 차지할 것으로 본다고 덧붙였다. 현재 엔비디아 시가총액은 5조달러를 넘어서며 세계에서 가장 가치 있는 기업 자리를 지키고 있다. AMD의 타알라스 인수는 이 격차를 좁히기 위한 또 하나의 승부수로 풀이된다.