사이트 안내와 개인정보 설정
Pulse 게시 ·

NVIDIA, Dynamo용 쿠버네티스 구성·검증 가이드 공개

NVIDIA가 분산 추론 프레임워크 Dynamo를 쿠버네티스에서 운영하는 AICR 구성·검증 절차를 공개했다. GPU 드라이버·스케줄러·모니터링까지 버전을 고정한 구성으로 맞춘 뒤 모델을 배포하는 흐름이다. 요청 전달을 Dynamo가 맡을지 공용 Gateway가 맡을지에 따라 두 라우팅 경로를 설명했다.

내용·출처 업데이트 · 2026. 10. 31. 오전 8:17

AICR은 Dynamo와 필요한 실행 기반을 레시피로 묶는다. GPU Operator, GPU 자원 할당을 위한 DRA, KAI Scheduler, Prometheus 등의 버전과 호환 조건·검사 항목을 고정한다. 글의 Amazon EKS 예시는 GB200·GB300 NVL72 시스템에서 시험한 AICR v1.0.0과 Dynamo Platform 1.4.2 조합이다.

모델별 개별 엔드포인트를 운영하는 쪽은 Dynamo Frontend가 캐시 상태와 부하를 보고 워커를 골라 요청까지 전달하는 경로를 쓸 수 있다. 플랫폼 팀이 공용 쿠버네티스 진입점을 관리한다면 Gateway API·EPP 경로가 맞는다. 여기서는 Dynamo EPP가 워커를 고르고 Gateway가 실제 HTTP 전달을 맡는다. 두 경로 모두 워커가 알린 KV 캐시 상태를 사용해 같은 접두 내용을 다시 계산하는 부담을 줄이려는 구성이다.

절차는 클러스터 상태 수집, 레시피 생성, 배포 파일 렌더링, 실행 기반 배포, 설치·적합성 검증으로 이어진다. 이 검사를 통과한 뒤 애플리케이션의 DynamoGraphDeployment를 설치한다. 오프라인 검증은 구성 제약을 평가하고 행동 검사는 건너뛰며, 성능 검증은 임시 서빙 워크로드를 띄워 GPU를 사용하므로 별도로 실행한다.

원문