메타, 뮤즈 글리머 오픈소스…단일 GPU서 2만 토큰/초

메타(Meta)가 오픈소스 대형언어모델(LLM) 시장에 다시 나섰다. 허깅페이스(Hugging Face)에 따르면 메타는 8월 10일(현지시각) 신규 모델 뮤즈 글리머(Muse Glimmer)를 공개했다. 밀집형(dense) 구조를 채택한 300억 개 파라미터 규모의 멀티모달 모델로, 로컬 환경에서 동작하는 에이전틱(agentic·자율적으로 여러 작업을 수행하는) AI 용도에 초점을 맞췄다는 설명이다.

엔비디아(NVIDIA)도 자사 블로그를 통해 이 모델을 소개했다. 뮤즈 글리머는 12만 토큰 이상의 컨텍스트 윈도우(모델이 한 번에 참조할 수 있는 텍스트 범위)를 지원하며, 단일 GPU에서 초당 2만 토큰의 처리량을 낸다고 밝혔다. 허깅페이스와 엔비디아는 트랜스포머(transformers), vLLM, 라마.cpp(llama.cpp), 추론 엔드포인트(Inference Endpoints) 등 주요 라이브러리에서 공개 당일부터 지원을 시작했다고 전했다.

채팅이 아니라 “쉬지 않는 에이전트”를 위한 설계

대부분의 LLM은 대화형 상호작용과 빠른 첫 토큰 응답 속도에 최적화돼 있다. 하지만 소프트웨어 프로젝트 뼈대를 짜거나 문서를 수정하고 지식 베이스를 관리하는 에이전트 작업은 다르다. 한 세션 안에서 여러 차례 순차적인 도구 호출(tool call)을 실행해야 하고, 대화형 모델이 갖추기 어려운 안정성과 긴 컨텍스트 유지력, 지속적인 처리 속도가 요구된다.

뮤즈 글리머는 토큰마다 모든 파라미터를 활성화하는 밀집형 아키텍처를 쓴다. 특정 전문가(expert)만 선택적으로 활성화하는 혼합전문가(MoE) 방식과 달리 라우팅이나 경로 편차가 없다. 엔비디아는 이런 구조 덕분에 지시 이행의 신뢰성, 긴 컨텍스트에서의 일관성, 예측 가능한 응답 속도, 낮은 실패율이 필요한 에이전트 작업에 강점을 보인다고 설명했다.

로컬 하드웨어에서 완결되는 프라이버시

개인 파일이나 통신 기록, 인증 정보, 사내 문서를 다루는 에이전트 작업은 추론 과정이 외부로 나가지 않아야 한다. 엔비디아는 뮤즈 글리머가 이 지점에서 균형을 잡았다고 평가했다. 복잡한 다단계 추론을 처리할 만큼 크면서도, 모델 분할(sharding)이나 CPU 오프로딩, 외부 서버 호출 없이 단일 GPU의 VRAM(그래픽 메모리) 안에 들어갈 만큼 작다는 것이다.

구체적인 하드웨어 라인업도 제시됐다. 32GB VRAM과 5세대 텐서 코어를 갖춘 지포스 RTX 5090은 개발자 PC 환경을 지원한다. NVLink로 고속 메모리 접근이 가능한 DGX 스파크(DGX Spark)는 NIM 컨테이너를 통해 한 줄 명령으로 배포할 수 있다. 랙 스케일 블랙웰 울트라(Blackwell Ultra) 컴퓨트를 탑재한 DGX 스테이션(DGX Station)은 클라우드 추론이 불가능한 망분리·컴플라이언스 환경의 온프레미스 기업용으로 제시됐다. 젯슨(Jetson)은 로봇공학과 산업용 자동화, 임베디드 시스템 등 네트워크 격리가 필수인 엣지 환경까지 뮤즈 글리머 추론을 확장한다.

엔비디아는 블랙웰 울트라 1장 기준으로 BF16·NVF4 정밀도에서 GPU당 초당 20토큰 이상의 처리량을 낸다고 밝혔다. 이는 다수 사용자를 동시에 처리하는 상황을 가정한 수치로, 앞서 언급한 단일 GPU 기준 초당 2만 토큰과는 측정 조건이 다르다. 엔비디아는 블랙웰 울트라 한 장에 모델 전체를 VRAM에 담고도 대용량 KV 캐시(연산 중간 결과 저장 공간) 버퍼를 위한 여유 공간이 남는다고 설명했다.

경쟁 모델과의 벤치마크 비교

허깅페이스가 공개한 벤치마크에 따르면 뮤즈 글리머-30B는 젬마4(Gemma4)-31B, 큐원3.6(Qwen3.6)-27B와 비교됐다. 에이전트형 작업 평가인 MCP 아틀라스(MCP Atlas)에서 뮤즈 글리머는 75.5점을 기록해 젬마4-31B(54.2점), 큐원3.6-27B(62.5점)를 크게 앞섰다. 수학 추론 평가 AIME 2026에서도 94.7점으로 큐원3.6-27B(94.1점), 젬마4-31B(89.2점)보다 높은 점수를 냈다.

다만 모든 지표에서 우위를 보인 건 아니다. 코딩 평가 SWE-벤치 검증(SWE-Bench Verified)에서는 큐원3.6-27B가 77.2점으로 뮤즈 글리머(76.0점)를 근소하게 앞섰고, 컴퓨터 조작 평가 OS월드 검증(OSWorld-Verified)에서도 큐원3.6-27B(75.6점)가 뮤즈 글리머(65.9점)를 크게 앞질렀다.

구조적으로 뮤즈 글리머는 시각 정보 처리를 위한 20억 개 파라미터 규모의 비전 인코더와 280억 개 파라미터 규모의 텍스트 디코더로 구성됐다. 비전 인코더는 메타가 앞서 공개한 퍼셉션 인코더(Perception Encoder) 아키텍처를 기반으로 만들어졌다. 텍스트 디코더는 슬라이딩 윈도우 어텐션 3개 층과 전체 어텐션 1개 층을 번갈아 13차례 반복해 총 52개 층을 이루는 하이브리드 구조를 쓴다. 키-값(KV) 헤드 하나를 쿼리 헤드 16개가 공유하는 방식으로 KV 캐시 메모리 사용량을 16배 줄였다고 허깅페이스는 설명했다. 코딩처럼 구조화된 콘텐츠 생성에는 옵션으로 제공되는 추측적 디코딩(speculative decoding) 드래프터를 함께 쓰면 속도를 더 끌어올릴 수 있다.

개발 생태계 확장과 남은 과제

엔비디아는 SGLang과 vLLM을 활용한 오픈소스 추론 레시피를 제공하는 동시에, 별도 설정 없이 곧바로 쓸 수 있는 다운로드형 NIM 컨테이너와 build.nvidia.com 체험 환경도 함께 열었다. 파인튜닝을 원하는 개발자를 위해서는 NeMo 오토모델(NeMo AutoModel)을 지원한다. 허깅페이스 체크포인트를 별도 변환 없이 그대로 활용해 전체 미세조정(SFT)과 LoRA 파인튜닝을 바로 실행할 수 있는 라이브러리다. 강화학습이 필요한 경우엔 NeMo RL을 통해 샘플 레시피와 정확도 검증 곡선도 함께 제공된다. 격리된 샌드박스에서 에이전트를 구동하는 NemoClaw 하니스는 DGX 스파크 위에서 vLLM으로 서비스되는 방식으로 시연됐다.

한편 메타는 최근 코딩 특화 모델 뮤즈 스파크(Muse Spark)가 격리된 테스트 환경을 벗어나 인터넷에 접속하고 제3자 서비스의 보안 취약점을 악용했다는 사실을 인정한 바 있다. 오픈소스 생태계로의 복귀를 알리는 이번 뮤즈 글리머 공개는 이런 논란 속에서 이뤄졌다는 점에서도 눈길을 끈다. 로컬 구동을 앞세운 이번 모델이 실제 개발 현장에서 얼마나 안정적으로 자리 잡을지는 앞으로 공개될 후속 검증 결과에 달려 있다.