사이트 안내와 개인정보 설정
Pulse 게시 ·

NVIDIA, DGX Spark 추론 최적화 공개…GSM8K 처리량 42.5% 향상

NVIDIA가 DGX Spark에서 Ling-3.0-flash 추론을 개선하는 커널 교체·출력층 FP8 양자화·추측 디코딩 조합을 공개했다. 회사의 배치 크기1·GSM8K 전체 1,319문항 평가에서 디코드 처리량은 42.5% 늘고 평균 지연은 24.5% 줄었다. 합성 작업에서 측정한 처리량 185.1% 향상과는 다른 결과다.

내용·출처 업데이트 · 2026. 10. 28. 오전 12:10

모델은 전체 1,240억 파라미터 중 토큰당 51억 개가 활성화되는 Ling-3.0-flash다. DGX Spark 한 대의 배치 크기1 조건에서 메모리 읽기가 디코딩 병목으로 나타났다.

Humming MXFP4 MoE 커널과 LM head 온라인 FP8 양자화로 각 디코드 단계의 가중치 읽기 비용을 줄이고, 모델 내장 NEXTN을 이용한 MTP로 여러 토큰을 한 번에 검증했다.

GSM8K 전체 평가에서 처리량은 37.81에서 53.89토큰/초, 평균 지연은 15.21에서 11.49초로 바뀌었다. 정확도는 96.89%·96.82%로 보고했으며 회사는 통계적으로 감지되는 차이가 없었다고 설명했다.

합성 시험은 입력 32K·출력 2K토큰과 탐욕 디코딩 조건이다. 실제 GSM8K 시험의 샘플링·출력 길이와 다르므로 합성 시험의 185.1% 향상을 다른 작업에 일반화하지 않았다.

온라인 FP8 양자화와 MTP를 함께 쓰려면 초안 모델이 대상 모델의 LM head 전체 모듈을 공유해야 한다. 가중치 텐서만 공유하면 자료형 해석이 어긋나 처리량이 기본 구성보다 낮아질 수 있다고 설명했다.

원문