일레븐랩스, 젠슨 황 수사 와중에도 엔비디아와 협력 확대…음성 에이전트 정부·로봇 겨냥

일레븐랩스(ElevenLabs)가 엔비디아와의 협력 범위를 넓힌다. 수요일(현지시각) 뉴욕 서밋에서 엔비디아의 오픈 모델 ‘네모트론 3.5 슈퍼 VL(Nemotron 3.5 Super VL)’을 음성 에이전트 제품군 ‘일레븐에이전츠(ElevenAgents)’에 적용하겠다고 밝혔다. 에이전트를 실제 서비스에 배포하는 데 쓸 연산 자원도 엔비디아의 ‘베라 루빈(Vera Rubin)’ 아키텍처로 마련한다.

두 회사는 폴란드 국가 온라인 의료 시스템의 예약 플랫폼 사례를 앞세웠다. 더 많은 정부에 음성 에이전트를 공급하고 로봇에도 적용하겠다는 구상도 내놨다. 발표는 엔비디아 최고경영자 젠슨 황이 수사 대상에 오른 가운데 나왔다.

네모트론 3.5 슈퍼 VL이 에이전트를 움직인다

일레븐랩스는 네모트론 3.5 슈퍼 VL로 일레븐에이전츠를 구동한다. 버라이어티(Variety)에 따르면 이 모델은 엔비디아의 최신 오픈 모델이다. AI 에이전트가 업무 흐름(워크플로)과 사람의 추론 방식을 이해하도록 돕는 역할을 한다.

에이전트 기능도 함께 확장됐다. 서밋에서 공개된 새 기능에는 기억(메모리) 기능과 루틴, 사용자가 새 에이전트를 직접 설계하도록 돕는 도구가 포함됐다.

일레븐랩스는 앞서 음성 인식과 대화 흐름 제어, 음성 합성을 하나로 묶은 음성 대 음성 모델 ‘Eleven Realtime’을 내놓은 바 있다. 이번 발표는 그 모델 위에서 돌아가는 에이전트가 어떤 두뇌와 어떤 연산 환경을 쓰는지에 초점이 맞춰져 있다.

베라 루빈 연산 자원과 폴란드 의료 예약 사례

일레븐랩스는 에이전트 배포에 필요한 컴퓨팅 용량을 베라 루빈 아키텍처로 확보한다. 회사는 이 용량이 기업 고객의 대규모 수요를 감당하는 데 도움이 될 것이라고 밝혔다.

대표 사례는 폴란드다. 일레븐랩스의 음성 에이전트는 폴란드 국가 온라인 의료 시스템 안의 예약 플랫폼 ‘센트랄나 e-레예스트라치아(Centralna e-Rejestracja)’에서 쓰이고 있다. 두 회사는 엔비디아의 AI 아키텍처를 기반으로 이런 음성 에이전트를 전 세계 정부에 더 많이 공급하고 싶다고 밝혔다.

적용 대상은 소프트웨어에 그치지 않는다. 양사는 이런 에이전트를 로봇에 탑재하는 작업도 진행 중이다. 로봇에 들어가는 구체적인 제품이나 일정은 공개되지 않았다.

마티 스타니셰프스키 일레븐랩스 최고경영자는 성명에서 확대 협력이 필요한 이유로 “음성 에이전트가 핵심 인프라가 되고 있다”는 점을 들었다. 그는 “우리의 오디오 모델·에이전트에 엔비디아의 거대언어모델과 가속 컴퓨팅, 보안 스택을 결합해 기업과 정부가 음성 에이전트를 대규모로 배포할 플랫폼을 제공한다”고 말했다. 이어 “엔비디아는 우리에게 훌륭한 파트너였고 계속 함께 만들어가길 기대한다”고 덧붙였다.

2022년부터 이어진 관계…엔비디아는 투자자이기도

두 회사는 2022년부터 협력해 왔다. 일레븐랩스는 첫 텍스트 음성 변환 모델을 엔비디아 GPU로 구동했다. 엔비디아는 사내 행사용 영상의 내레이션을 일레븐랩스 기술로 만들었다.

엔비디아는 지난해 일레븐랩스 투자자로도 합류했다. 버라이어티는 이때 스타니셰프스키의 링크드인 페이지에 공들여 제작한 영상이 올라왔다고 전했다. 고객과 공급사 관계에 지분 관계가 더해진 셈이다.

일레븐랩스의 몸값은 빠르게 뛰었다. 회사는 9월 직원 대상 지분 매입(텐더 오퍼)을 3억 달러 규모로 마무리했고 이 과정에서 기업가치를 220억 달러(약 29조 5,000억 원, 1달러 1,342원 기준)로 평가받았다. 2월 투자 라운드에서 인정받은 110억 달러의 두 배다.

젠슨 황 수사 속에서 나온 발표

발표 시점이 눈에 띈다. 버라이어티에 따르면 젠슨 황은 중국 IT 업계 임원과의 불륜 문제로 국가 안보 스캔들에 휘말렸다. 이 임원은 황을 감시하고 엔비디아의 AI 기술을 파악하도록 중국이 포섭했다는 의혹을 받는다. 어디까지나 의혹이며 확정된 사실로 소개된 것은 아니다.

황은 이 관계와 관련해 엔비디아 이사회와 연방수사국의 조사를 받고 있다. 버라이어티는 그가 이번 주 일레븐랩스 서밋에 불참하기로 했다고 전했다. 조사가 진행되는 동안에도 그는 회사를 계속 이끈다.

불참에도 황은 서면 성명으로 파트너십에 입장을 냈다. 그는 “수십 년 동안 우리는 키보드와 화면, 메뉴로 컴퓨터에 적응해 왔다. 이제 컴퓨터가 우리의 언어를 배우고 있다”고 말했다. 이어 “일레븐에이전츠 안의 엔비디아 네모트론 추론과 대규모 배포를 뒷받침하는 엔비디아 가속 컴퓨팅으로 기업과 정부가 음성 에이전트를 국가 규모로 안전하게 운영할 수 있다”며 “말하는 것이 일을 처리하는 가장 빠른 방법이 되게 하겠다”고 밝혔다.

일레븐랩스는 정부 고객을 겨냥한 구상을 내놓으면서도 황을 둘러싼 조사와는 선을 긋지 않고 협력 확대를 발표했다. 이번 확대안에서 일정이나 계약 규모, 금액은 공개되지 않았다.