사이트 안내와 개인정보 설정
Pulse 게시 ·

NVIDIA, DGX Spark 64GB 추론 측정…DSpark로 73.4→126.9토큰/초

NVIDIA가 DGX Spark 64GB에서 Nemotron-3.5 Lightning을 실행하는 방법과 자체 측정 결과를 공개했다. TensorRT Edge-LLM에 초안 토큰 3개를 쓰는 DSpark를 켰을 때, HumanEval 프롬프트의 평균 생성 속도는 73.4에서 126.9토큰/초로 늘었다. 첫 토큰까지의 중앙값은 두 구성 모두 약 99밀리초였다.

내용·출처 업데이트 · 2026. 10. 31. 오전 6:23

TensorRT Edge-LLM은 임베디드 작업을 위한 C++ 추론 실행 기반이다. NVIDIA는 DGX Spark에서 개발한 뒤 Jetson Thor·DRIVE AGX Thor·IGX Thor 같은 플랫폼에 배포하는 흐름을 지원한다고 설명했다. 이번 예제는 TensorRT Edge-LLM 0.11.1과 TensorRT 10.16.1.11로 시험한 것이며, 해당 버전이 새로 출시됐다는 발표는 아니다.

DSpark는 초안 모델이 여러 토큰을 제안하고 주 모델이 한 번에 검증하는 추측 디코딩 방식이다. 회사 측정에서 초안 토큰 3개를 쓰면 SpeedBench 1K의 평균 생성률은 73.3에서 108.5토큰/초, 2K는 72.8에서 105.3토큰/초로 바뀌었다.

생성률은 첫 토큰이 나오기까지의 시간을 뺀 요청별 평균이다. HumanEval에서 첫 토큰 지연 중앙값은 DSpark를 끈 경우 98.1밀리초, 켠 경우 98.7밀리초였다. 본문을 생성하는 속도와 응답이 시작되는 시간은 각각 측정됐다.

수치는 DGX Spark 64GB 한 대에서 NVFP4·thinking 활성화·배치 크기 1·동시 스트리밍 요청 1개·출력 한도 128토큰으로 측정됐다. DSpark 추론 중 운영체제를 포함한 전체 시스템의 최대 메모리 사용량은 27.9GB였다. 다른 모델이나 동시 요청 수에서도 같은 결과가 난다는 뜻은 아니다.

원문