NVIDIA, 도구 조작에 반응하는 수술 시뮬레이터 Cosmos3-H-Dreams 공개

NVIDIA가 실제 담낭절제술 영상과 로봇 동작으로 학습한 생성형 시뮬레이터 Cosmos3-H-Dreams를 공개했다. 회사에 따르면 RTX PRO 6000 GPU 한 장에서 도구 조작에 반응하는 영상을 실시간 생성한다. 체크포인트·코드·학습 절차를 제공하며, 환자 진료용으로 검증된 시스템은 아니다.

내용·출처 업데이트 · 2026. 10. 21. 오전 3:21

Cosmos3-H-Embodied-Nano 기반으로 CMR Surgical Versius의 임상 담낭절제술 영상과 로봇 동작을 학습했다.

두 기구의 위치·회전·그리퍼와 에너지 제어 등을 포함한 28차원 행동 입력을 사용한다. 학습 영상은 832×480이며 행동 정렬 주기는 10Hz다.

2단계 모델은 4단계 모델의 샘플링 횟수만 줄인 것이 아니라 추가 학습한 별도 체크포인트다. 추론은 빠르지만 영상 품질이 낮아지는 절충이 있다.

동기화된 영상과 호환 행동 표현을 갖춘 다른 데이터에도 적용할 수 있도록 교사 모델 미세조정·Self-Forcing 증류 절차를 제공한다.

전체 수술 과정의 일관성, 생체역학적 정확성 검증, 외과의 평가와 자율 수술 정책 학습은 향후 연구 방향으로 제시했다.

개발자는 별도로 학습된 2단계·4단계 모델 중 영상 품질과 추론 비용에 맞춰 선택할 수 있다.