NVIDIA, 로컬 AI 앱용 C++ 오픈소스 샘플 DIN Deploy 소개

NVIDIA가 10월 1일 ONNX Runtime과 TensorRT RTX를 결합한 오픈소스 C++ 샘플 DIN Deploy를 소개했다. Windows·Linux에서 음성 인식, SAM 2.1 이미지·영상 마스킹, FLUX.2 이미지 생성을 구현한다. Python으로 모델을 ONNX로 변환하고, 추론은 네이티브 C++ 앱에서 실행하는 구성이다.

Whisper는 오프라인 전사, Parakeet TDT와 Nemotron ASR Streaming은 스트리밍 음성 인식 샘플을 제공한다.

Windows·Linux의 x86-64·Arm64용 CMake 프리셋을 제공하며 기본 빌드에서 ONNX Runtime과 TensorRT RTX를 내려받는다.

공통 코드는 ONNX Runtime의 세션·텐서 API를 사용하고, CUDA 등 공급자 전용 코드는 선택적 가속 경로에 둔다.

FLUX.2 샘플은 ONNX Runtime 1.25의 Vulkan·DirectX 연동을 활용하며 DirectX는 Windows에서만 쓸 수 있다.

DGX Spark 측정에서 SAM 2.1은 GPU 38.3 FPS·CPU 0.5 FPS였고, 음성 인식 수치는 실시간 대비 처리 속도로 보고했다.

모델 변환과 앱 실행을 분리해 배포 구조를 단순화하고, 인터페이스가 유지되는 양자화 모델로 앱 코드 수정 없이 교체할 수 있다.