NVIDIA·Dao AI Lab, 하이브리드 모델 추론 가속 기법 ReplaySSM 공개

NVIDIA·Dao AI Lab이 SSM 상태 대신 체크포인트와 최근 입력을 저장하는 ReplaySSM의 코드·평가를 공개했다. 연구진의 4개 모델 시험에서 배치 256의 디코딩 단계는 vLLM 대비 1.20~1.47배 빨랐지만 배치 1에서는 개선이 없었다. vLLM·TensorRT-LLM 등에 통합됐으며 GLM-5.3-Flash에서 운영 중이라고 밝혔다.

내용·출처 업데이트 · 2026. 10. 13. 오전 3:31

Mamba-2·GDN 기반 Nemotron 3·Qwen3.5 모델 4개를 각각 H100 또는 B300 GPU 한 대에서 평가했다.

성능 시험은 FP32 SSM 상태와 입력 창 길이 16을 사용하고, 최적 실행 설정의 vLLM 커널과 비교했다.

배치 256에서 SSM 커널은 1.46~1.80배, 전체 디코딩 단계는 1.20~1.47배 빨랐다.

120B급 모델 2개의 별도 추측 디코딩 시험에서는 B300 한 대씩, GSM8K 프롬프트·초안 토큰 4개·배치 512 조건에서 처리량이 1.85배·2.10배였다.

고정밀 순환 갱신용 상태와 저정밀 읽기용 사본을 분리해 양자화 오차의 누적을 줄인다. GPQA-Diamond에서 모델 4개 중 3개는 FP32 대비 정확도 차이가 약 2%포인트 이내였으나, Nano-4B는 더 크게 하락했다.

TensorRT-LLM·vLLM·SGLang·FlashInfer 통합과 GLM-5.3-Flash 운영 적용을 소개했다. Kimi-K3는 초안 입력 캐싱을 사용하며 ReplaySSM을 동시 연구로 인용한다.

매 토큰마다 전체 상태를 쓰는 대신 입력을 모아 갱신해, GPU 메모리 대역폭이 병목인 대규모 동시 추론에 효과를 낸다.