Meta Muse Spark Open 공개, 멀티모달 입력·100만 토큰 문맥 지원

Meta가 코딩 에이전트용 공개 가중치 모델 Muse Spark Open을 선보였다. Hugging Face에 따르면 전체 약 8160억·토큰당 활성 420억 파라미터로, 텍스트·이미지·음성·영상을 입력받고 텍스트를 출력한다. 최대 100만 토큰 문맥과 도구 호출을 지원하며, BF16 가중치만 약 1.5TB여서 배포에는 대용량 메모리가 필요하다.

내용·출처 업데이트 · 2026. 10. 17. 오전 6:40

BF16·NVFP4 체크포인트를 제공하며, MoE 층마다 전문가 256개 중 8개를 선택한다. 활성 파라미터와 별개로 전체 전문가 가중치를 메모리에 보관한다.

Transformers·llama.cpp·SGLang 연동을 제공한다. 본문에 소개된 vLLM 참조 구현은 NVFP4 체크포인트의 텍스트·이미지 입력을 지원하며 Blackwell GPU가 필요하다.

추론 강도는 low·medium·high·xhigh로 조절하지만 추론을 완전히 끌 수는 없다.

100만 토큰 문맥에는 이미지·영상·음성 토큰도 포함된다. 본문은 BF16 KV 캐시가 전체 문맥에서 약 266GB에 이른다고 설명한다.

Hugging Face는 메모리 512GB의 Mac M3 Ultra에서 보정된 2비트 양자화 모델이 약 304GB를 사용하며 초당 18토큰으로 실행됐다고 보고했다.

영상은 기본 초당 2프레임·최대 96프레임으로 샘플링한다. 프레임 수를 늘리면 세부 장면을 더 담지만 메모리 사용량과 입력 처리 지연도 커진다.

화면 캡처·음성 메모·화면 녹화를 코드와 함께 전달해 오류 상황을 설명하는 에이전트를 구성할 수 있다.