사이트 안내와 개인정보 설정
Pulse 게시 ·

Nemotron으로 말하는 핼러윈 집…대화·음성·표정을 한 PC에 연결

NVIDIA 직원 Rick Grandy가 음성 AI와 얼굴 애니메이션을 연결한 핼러윈 제작물 MonsterHouse를 공개했다. 방문자의 말을 듣고 해적 목소리로 대답하며 차고 문에 입 모양을 투사하는 장치다. 대화·음성 처리와 화면 렌더링은 한 워크스테이션의 서로 다른 GPU로 나눴고, 실제 방문객을 상대로 한 성능 검증은 아직 남아 있다.

내용·출처 업데이트 · 2026. 10. 31. 오전 5:14

대화의 기반은 NVIDIA Nemotron Voice Agent다. Nemotron ASR이 말을 문자로 바꾸고, 소형 언어 모델 Bolt E4B가 답을 만든다. Magpie TTS Zeroshot은 짧은 음성 샘플로 캐릭터의 목소리를 합성하고, Audio2Face-3D는 깨끗한 음성에서 입의 움직임을 만들어 Unreal Engine 장면에 연결한다.

자주 쓰는 인사와 사탕 농담은 미리 준비했다. 저장한 문장은 언어 모델의 답변 생성을, 저장한 음성은 음성 합성을 건너뛰게 한다. 작성자가 제시한 발화 종료부터 음성 출력까지의 중앙값은 Bolt Q4와 음성 합성 경로가 1.70초, 캐시된 응답이 0.72초다. 발화 종료 감지는 300밀리초의 침묵을 기다리도록 설정돼 있으며, 이 수치는 해당 제작 환경의 자체 측정이다.

한 PC에서 실행하지만 GPU는 두 개다. 언어·음성 모델은 RTX PRO 6000 Blackwell Max-Q에, Unreal Engine 그래픽과 Audio2Face-3D는 RTX PRO 4000 Blackwell에 배치했다. 작성자는 대화 처리 부하가 애니메이션의 프레임 속도에 영향을 주지 않도록 계산 자원을 나눴다고 설명했다. 청중에게 들려줄 목소리 효과도 입 모양을 구동하는 깨끗한 음성과 별도로 처리한다.

카메라를 보는 선택 기능에는 Nemotron 3 Nano Omni와 YOLO·ByteTrack을 사용했다. 다만 복장을 알아보는 예시는 합성 영상 재생 시험이며, 실제 진입로의 조명·복장·방문자 무리에 대한 시험은 남아 있다. MonsterHouse 자체 코드는 배포용으로 패키징되지 않았고 자동 사탕 배급도 향후 구상이다.

원문