사이트 안내와 개인정보 설정
Pulse 게시 ·

NVIDIA, Kubernetes GPU 분할에 메모리 한도 강제 적용 도구 공개

NVIDIA가 CUDA 13.4의 메모리 제한을 Kubernetes에서 적용하는 오픈소스 GPU Fractioning Operator를 소개했다. KAI Scheduler 0.18.0의 NvFractions와 연동해 워크로드별 최소·최대 메모리와 계산 공유 방식을 설정한다. SM-sharing은 병렬 실행하되 오류 영역을 공유한다.

내용·출처 업데이트 · 2026. 10. 28. 오전 6:06

GPU Fractioning Operator는 NVIDIA GPU Operator 옆에서 동작하며 노드별 MPS 실행·관리, 워크로드 메모리 한도와 계산 모드 적용, GPU 전체가 아닌 분할 단위 사용량 측정을 맡는다.

CUDA는 지정한 메모리 크기를 넘는 할당을 실패시키거나, 보장된 최소 메모리부터 여유가 있을 때 늘어날 최대치까지 범위를 적용한다. 한도를 생략하면 최대치는 요청량과 같다.

KAI Scheduler 0.18.0은 컨테이너별 Pod 주석에 메모리·계산 모드·GPU 배정을 기록한다. 다른 스케줄러도 같은 주석을 쓸 수 있지만 GPU 여유 메모리와 모드 충돌을 판단하는 일은 스케줄러가 맡는다.

기본 time-slicing은 작업이 번갈아 실행되며 각 작업에 별도 오류 영역을 둔다. SM-sharing은 스트리밍 멀티프로세서를 공유해 동시에 실행하지만 단일 오류 영역을 공유하므로 함께 실행할 작업의 신뢰 관계가 필요하다.

한 GPU에는 두 계산 모드를 섞어 배치하지 않는다. 여러 GPU를 요청하면 메모리 요청량은 장치마다 적용되며 4개 GPU에 40Gi를 요청하면 각 GPU에서 40Gi를 받는다.

MIG의 하드웨어 격리 인스턴스와 구분되는 MPS 기반 분할·메모리 제한이다. 글은 설치·설정 경로를 제공하며 실제 처리량 향상 수치를 제시한 독립 성능 시험은 아니다.

원문