상시 가동 AI 에이전트 시장 겨냥… 초당 670토큰 처리 속도 달성

글로벌 반도체 거인 엔비디아(NVIDIA)가 초고속 추론 및 AI 에이전트 구동에 특화된 소형 오픈가중치 모델 '네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)'을 11일(현지시간) 전격 공개했다. 가중치는 물론 학습 데이터와 레시피까지 전체 공개된 이번 모델은 항상 켜져 있는(Always-on) AI 에이전트의 실행 계층(Execution Layer)을 겨냥해 개발되었다.

네모트론 3.5 라이트닝은 전체 30B(300억) 파라미터 중 개별 요청당 3B(30억) 파라미터만 선택적으로 활성화되는 '혼합 전문가(MoE)' 구조를 적용했다. 지능 평가 벤치마크에서 오픈AI의 대형 오픈 모델인 'gpt-oss-120b'와 대등한 성능을 기록하는 동시에, 초당 약 670토큰이라는 압도적인 처리 속도를 구현했다. 에이전트 작업 수행 벤치마크에서는 상위 대형 모델인 '네모트론 3 슈퍼'마저 뛰어넘으며 "100억 미만 소형 파라미터 모델이 10~30분의 1 비용으로 에이전트 업무를 대체할 수 있다"는 엔비디아 연구진의 기술적 가설을 완벽히 입증해냈다.

맘바-트랜스포머 하이브리드 설계… 단일 H100·DGX 스파크서 즉시 구동

기술적 구조 측면에서는 '맘바-트랜스포머(Mamba-Transformer) 하이브리드' 메커니즘에 '멀티토큰 예측(MTP)' 기술을 결합했다. 텍스트 전용 추론 모델로서 최대 100만 토큰의 거대 컨텍스트 창(Context Window)을 지원한다. 가중치는 BF16과 NVFP4 두 가지 버전으로 제공되며, 특히 4비트 양자화가 적용된 NVFP4 버전을 활용하면 고가의 다중 GPU 클러스터 없이 단일 H100 GPU나 온프레미스 소형 장비인 'DGX 스파크'에서도 실시간 AI 에이전트를 원활하게 구동할 수 있다.

아울러 추측 디코딩(Speculative Decoding) 전용 드래프트 모델인 'D스파크(DSpark)'와 'D플래시(DFlash)'를 동시 배포해 하드웨어 효율성을 극대화했다. 개발자 생태계와의 연동성도 확보했다. 오픈클로(OpenClaw), 허메스 에이전트 등 오픈소스 하네스는 물론 엔비디아의 보안·관리 스택인 '네모클로(NemoClaw)'를 지원하며, 빌드닷엔비디아닷컴, 오픈라우터, 딥인프라, 파이어웍스, 코어위브 등 다양한 인프라 플랫폼에서 즉시 추론 테스트가 가능하다.

"에이전트가 늘어야 GPU가 팔린다"… 오픈가중치 생태계 확장 포석

네모트론 3.5 라이트닝은 네모트론 3 나노의 후속작이자, 향후 선보일 '네모트론 3.5' 시리즈의 첫 스타트를 끊는 모델이다. 라이선스는 상업적 이용 및 재배포가 자유로운 '오픈MDW-1.1'이 적용되었다.

하드웨어 제조사인 엔비디아가 고성능 오픈 소형 모델을 직접 내놓는 배경에는 정교한 사업적 전략이 깔려 있다. 소형 모델을 통해 실시간 에이전트 상용화의 문턱을 낮추고 시장에 AI 에이전트 개체 수(Volume)를 폭발적으로 늘림으로써, 결과적으로 엔터프라이즈 추론용 GPU 수요를 가속화하겠다는 구상이다. 엔비디아는 이번 라이트닝 모델을 시작으로 다양한 목적별 네모트론 3.5 라인업을 연이어 선보일 예정이다.

*면책 조항: 이 기사는 정보 제공을 목적으로 작성되었으며, 특정 기업의 주식이나 금융 상품에 대한 투자 권유가 아닙니다.

 



출처: https://blockchaintoday.co.kr/news/articleView.html?idxno=65195