엔비디아 라이트닝, 동급 지능을 4분의 1 크기로 구현

엔비디아가 새 오픈소스 대형언어모델 ‘네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)’을 8월 11일(현지시각) 공개했다. 기존 네모트론 3 나노(Nemotron 3 Nano)를 잇는 후속 모델로, 상시 가동되는 에이전트형 AI의 고빈도 특화 작업을 겨냥해 설계됐다. 엔비디아는 이 모델과 함께 에이전트 도구 안에서 여러 모델을 상황에 맞게 배분하는 오픈소스 라우팅 라이브러리 ‘네모 스위치야드(NeMo Switchyard)’도 함께 내놓았다. 독립 벤치마크 플랫폼 아티피셜 애널리시스(Artificial Analysis)에 따르면 라이트닝은 오픈AI의 gpt-oss-120b와 지능 지수에서 맞먹으면서도 파라미터 수는 4분의 1 수준에 불과하다. 초당 약 670토큰을 처리해 같은 체급 모델 중 가장 빠른 추론 속도를 기록했다.

배경: 젠슨 황의 오픈소스 옹호 발언 3주 만에 등장

엔비디아 최고경영자(CEO) 젠슨 황은 7월 말 X(옛 트위터)에 처음으로 글을 올려 오픈소스 AI 모델을 옹호하는 입장을 밝혔다. 업계 전반에서 벌어지던 오픈모델 대 폐쇄형모델 논쟁에 직접 뛰어든 것이다. 그로부터 3주가 채 지나지 않은 시점에 엔비디아는 네모트론 3.5 라이트닝을 선보였다. CNBC에 따르면 이는 황이 미국 정부에 “섣부른 규제를 피하며” 오픈모델을 지원해야 한다고 촉구한 이후 엔비디아가 내놓은 첫 오픈소스 모델이다.

새 모델은 기업이 별도 승인이나 비용 지불 없이 자유롭게 내려받아 쓰고 수정할 수 있다. 황은 지난달 악시오스(Axios)와의 인터뷰에서 “무료 AI는 하드웨어에 이롭다. 무료 AI는 칩(반도체)에도 이롭다”고 말했다. 오픈소스 모델이 확산될수록 결국 GPU 등 하드웨어 수요로 이어진다는 논리다.

이번 공개는 업계 전반이 오픈모델에 무게를 싣는 흐름과도 맞물린다. 지디넷(ZDNet)에 따르면 오픈AI 등 폐쇄형 모델을 우선하던 기업들도 최근 보안 사고 이후 오픈웨이트 모델을 이전보다 적극적으로 내놓고 있다. 메타(Meta)도 개인 맥·PC에서 로컬로 쓸 수 있는 오픈 에이전트 모델 ‘뮤즈 글리머(Muse Glimmer)’를 최근 선보였고, 중국 딥시크(DeepSeek)는 오픈모델 가격을 올리는 추세다. 엔비디아 생성형 AI 부문 부사장 카리 브리스키(Kari Briski)는 브리핑에서 라이트닝을 두고 “울트라(Ultra)의 지식을 나노(Nano)의 크기에 담았다”고 설명했다.

핵심 스펙: gpt-oss-120b급 지능을 4분의 1 크기로

더 디코더(the-decoder.com)에 따르면 네모트론 3.5 라이트닝은 총 316억 개 파라미터 중 실제 추론에 쓰이는 활성 파라미터는 36억 개에 불과한 하이브리드 맘바-트랜스포머(Mamba-Transformer) 구조다. 전작 ‘네모트론 3 나노 30B A3B’의 직계 후속작이다. 아티피셜 애널리시스의 지능 지수(Intelligence Index)에서 24점을 받아 전작(15점)보다 9점 올랐다. 이는 오픈AI의 gpt-oss-120b(24점)와 동급이며, 자사 모델 ‘네모트론 3 슈퍼(Nemotron 3 Super, 26점)’에는 근소하게 못 미친다. 슈퍼는 라이트닝보다 몸집이 약 4배 크다. 다만 큐원3.6(Qwen3.6) 35B A3B(32점)와 메타의 뮤즈 글리머(35점)는 여전히 앞서 있다.

속도 면에서는 라이트닝이 두드러진다. 최종 NVFP4 가중치를 적용한 사전 테스트에서 초당 약 670토큰을 처리해 비교 모델 중 가장 빠른 처리량을 기록했다. 구글 제미나이 3.5 플래시라이트(386토큰/초)보다 거의 2배 빠르다. 지능 지수 과제 하나를 처리하는 데 약 0.5분이 걸리는데, 큐원3.6 35B A3B는 약 3.5분, 구글의 겜마4(Gemma 4) 31B는 약 5.8분이 소요된다.

에이전트형 작업 벤치마크에서는 개선폭이 더 크다. GDPval-AA v2에서 엘로(Elo) 점수 824를 기록해 전작보다 334점 뛰었다. gpt-oss-120b(800점)와 네모트론 3 슈퍼(698점)를 모두 웃도는 결과다. 터미널벤치(Terminal-Bench) v2.1에서는 점수가 7%에서 24.3%로 올라 gpt-oss-120b(26.2%)에 근접했다. 엔비디아는 라이트닝을 개방적 라이선스 ‘OpenMDW-1.1’로 배포하며, BF16과 NVFP4 두 가지 가중치를 제공한다. 컨텍스트 윈도우(모델이 한 번에 처리하는 텍스트 범위)는 100만 토큰이며 텍스트 전용 모델이다. 디프인프라(DeepInfra), 파이어웍스(Fireworks), 프렌들리AI(FriendliAI), 코어위브(CoreWeave), GMI클라우드, 네비우스(Nebius), 크루소(Crusoe) 등을 통해 서버리스 추론도 제공된다.

엔비디아 공식 발표에 따르면 라이트닝은 동급 다른 모델보다 출력 속도가 최대 4배 빠르고, 에이전트 작업 완료 속도는 30% 더 빠르다. 네모트론 연합(Nemotron Coalition) 참여사들이 평가 방법론과 추론 소프트웨어, 데이터셋을 제공해 모델 고도화에 기여했다. 라이트닝은 엔비디아 RTX PC, DGX 스파크(DGX Spark), DGX 스테이션(DGX Station), 젯슨(Jetson) 등 로컬 시스템은 물론 RTX 프로 워크스테이션, 데이터센터, 클라우드까지 폭넓게 구동된다. 엔비디아는 코딩 에이전트 강화학습 후속 학습용 데이터셋 ‘네모트론-RL-에이전틱-터미널-피벗(Nemotron-RL-Agentic-Terminal-Pivot)’도 함께 공개했다.

라우팅 도구 ‘네모 스위치야드’와 업계 도입 성과

네모트론 3.5 라이트닝과 함께 나온 네모 스위치야드는 에이전트 워크플로의 각 단계마다 품질·지연시간·비용 우선순위에 맞춰 가장 적합한 모델로 요청을 자동 분배하는 오픈소스 라우팅 라이브러리다. 엔비디아 자체 벤치마크에 따르면 스위치야드는 최상위(프런티어)급 정확도를 유지하면서도 작업 완료 비용을 오푸스 4.8(Opus 4.8) 단일 모델 사용 대비 약 3분의 1 수준으로 낮췄다.

파트너사들의 실제 도입 결과도 공개됐다. 부미(Boomi)는 다섯 가지 라우팅 역량을 평가한 결과 도메인 라우팅 정확도 100%를 기록했고, 전체 트래픽의 59%를 5배 빠른 파인튜닝 모델로 보냈으며 후반 대화 턴의 지연시간을 21% 줄였다. 반도체 설계 기업 케이던스(Cadence)는 칩스택(ChipStack) AI 슈퍼 에이전트를 형식 검증(formal verification) 작업에 적용해 효율을 9.9% 높였다. 클래스메소드(Classmethod)는 오픈코드(opencode)와 파이어웍스 워크로드에 스위치야드를 내부 적용해 품질을 유지하면서 비용을 27% 줄였다. 코그니션(Cognition)은 데빈 데스크톱(Devin Desktop)에 스위치야드의 단계별 라우터를 통합해 프런티어코드메인(FrontierCode Main) 벤치마크에서 프런티어급에 가까운 성능을 내면서, 단일 프런티어 모델로만 요청을 처리할 때보다 평균 비용을 28% 줄였다. 콩(Kong)은 콩 AI 게이트웨이(Kong AI Gateway)를 통해 네이티브로 스위치야드 라우팅을 제공한다.

기업별 맞춤 활용 사례도 이어졌다. 사이버보안 기업 크라우드스트라이크(CrowdStrike), 법률 서비스의 하비(Harvey)와 트래젝토리(Trajectory), 코드 리뷰 분야의 코드래빗(CodeRabbit)과 베이스텐(Baseten)이 라이트닝을 자사 업무에 맞게 커스터마이징했다. 라일라 사이언스(Lila Sciences)는 물리학·생명과학 분야 에이전트 작업의 추론 능력을 개선하는 데 활용했고, 패스티노 랩스(Fastino Labs)는 소프트웨어 개발·금융·헬스케어 업무에서 높은 정확도를 확인했다.

전망: ‘작을수록 효율적’ 명제의 실증 사례

엔비디아는 지난해 발표한 논문에서 파라미터 100억 개 미만 모델이 700억~1750억 개 규모 모델과 비슷한 성능으로 에이전트 워크로드를 처리하면서도 비용은 10분의 1에서 30분의 1 수준이라고 주장한 바 있다. 라이트닝은 총 316억 개 중 실제 활성 파라미터가 36억 개에 그치는 만큼, 이 경량화 논리를 뒷받침하는 대표적 제품 사례로 꼽힌다.

엔비디아로서는 오픈소스 전략이 결국 자사 GPU 수요 확대로 이어진다는 계산도 깔려 있다. 오픈모델이 저렴해질수록 폐쇄형 모델 대비 사용량이 늘고, 이 모델들을 구동할 GPU 수요도 커진다는 논리다. 다만 라이트닝이 큐원3.6이나 뮤즈 글리머 등 경쟁 오픈모델과의 지능 격차를 얼마나 좁힐 수 있을지, 실제 기업 현장에서 네모 스위치야드를 통한 비용 절감 효과가 얼마나 폭넓게 재현될지는 지켜볼 부분이다.