Open TTS Leaderboard 공개, 다국어 음성 합성·복제·응답 지연 비교

Hugging Face가 9월 30일 오픈소스 음성 합성 모델을 비교하는 Open TTS Leaderboard를 소개했다. 언어별 발음 오류·화자 유사도·추론 속도와 첫 오디오 지연을 평가하고 출력도 직접 들을 수 있다. 한국어는 문자 오류율로 평가하며, 수치는 자연스러움이나 청취자 선호를 직접 측정하지 않는다.

기본 순위는 Seed TTS Eval과 CV3 Eval의 영어 분할에서 측정한 평균 WER를 사용한다.

한국어·중국어·일본어는 CER를 보고하며 영어·중국어 외 언어는 CV3 Eval 결과를 사용한다.

스트리밍 평가는 같은 영어 프롬프트 50개를 배치 크기 1로 실행하고 준비 실행 3회를 제외한 첫 오디오 지연 중앙값을 보고한다.

H200 GPU 결과와 일부 모델의 CPU 결과를 제공한다.

평가 스크립트의 오픈소스 공개는 향후 계획이다.

음성 에이전트용 모델을 고를 때 첫 오디오 지연을, 대량 음성 생성에는 배치 처리 속도를 따로 비교할 수 있다.