NVIDIA, TensorRT Model Connect의 코딩 에이전트 개발·검증 방식 공개

NVIDIA가 9월 29일 오픈소스 C++ 추론 프로젝트 TensorRT Model Connect의 개발 경험을 공개했다. 모델 계열별 구현을 분리하고 에이전트에는 목표·참조 구현·합격 기준을 준다. 현재 공개 미리보기이며, 7월 29일 공개판 기준 GB300에서 128개 모델 계열을 시험했다.

Hugging Face 또는 로컬 체크포인트를 버전이 지정된 .bundle로 만들고 텍스트·영상·음성 등 작업별 네이티브 C++ API로 연결한다.

모델별 빌더·런타임 파이프라인·커널·검증 근거를 해당 계열에 두고, 여러 구현이 같은 계약을 필요로 할 때만 공통 인프라로 옮긴다.

개발과 QA는 재현 가능한 CI를 공유하되 독립적인 관점에서 결과를 검증한다. 사람이 발견한 실패는 재현하고 회귀 조건으로 추가한다.

장기 작업 대부분은 사람이 시작한다. 자동 작업 발굴과 대규모 동시 실행은 향후 방향이며, 공유 빌드·런타임·CI의 실패는 여러 모델에 영향을 줄 수 있다.

공통 코드를 늘리면 서로 다른 모델의 변경이 얽힐 수 있어, 이 프로젝트는 일부 코드 중복을 감수하고 작업 독립성을 확보했다.