NVIDIA, DGX Spark 8대 연결 지원 발표…통합 메모리 1TB
NVIDIA가 DGX Spark 8대를 연결해 통합 메모리를 1TB로 확장하는 구성을 공식 지원한다고 발표했다. 회사는 약 470GB의 NVFP4 GLM 5.3 모델을 실행했으며, 동시 요청 1개에서 초당 31토큰을 생성했다고 밝혔다. NVIDIA Sync의 8노드 설정·관리 지원은 연말까지 제공할 예정이다.
DGX Spark 한 대의 통합 메모리는 128GB이며, 8대 구성은 전체 753B 파라미터 GLM 5.3 체크포인트를 실행할 수 있다고 설명했다.
전체 GLM 5.3의 측정은 약 470GB NVFP4 모델과 MTP3를 사용했다. 입력 길이 8K에서 동시 요청 1개의 생성 처리량은 31TPS였으며, 동시 요청 8개에서는 전체 67TPS·사용자당 18TPS였다.
별도 GLM 5.3 Flash 실행에서는 약 80TPS를 측정했다고 밝혔다. 전체 GLM 5.3의 성능 수치와는 다른 모델의 결과다.
Qwen3.8-27B NVFP4를 입력 8192·출력 256토큰, 동시 요청 1개, 추측 디코딩 없이 측정한 결과 생성 처리량은 단일 노드 11.86TPS에서 8노드 스위치 구성 52.58TPS로 늘었다.
Spark 최적화 통신 백엔드 RoCEnante는 스위치 연결에서만 동작하며 FlashInfer에 병합됐다. 노드 수·동시 요청·메시지가 커지면 기본 지원 백엔드 NCCL이 더 적합할 수 있다고 설명했다.
Switchyard 시제품은 MiniCPM5 2B와 Qwen3.8 Flash Next를 배분했다. 회사의 92개 도구 사용 평가에서 Qwen 단독과 같은 91/100점을 기록했으며, 요청의 75%를 작은 모델로 보내는 구성에서 전체 처리량이 약 3배였다.
스위치를 쓰면 노드를 여러 모델 풀로 나눌 수 있어, 작은 모델과 큰 모델을 요청 난도에 따라 배분하는 로컬 에이전트 구성을 만들 수 있다.
원문
- Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark NodesNVIDIA Developer · 원문 2026-10-23