NVIDIA·AI4Bharat, 인도 22개 언어 2.8조 토큰 학습 데이터 공개 예고

NVIDIA와 IIT Madras·AI4Bharat가 인도 22개 언어의 약 2.8조 토큰 데이터와 생성 파이프라인을 곧 공개한다고 밝혔다. 영어 문서를 번역한 합성 데이터로, 22개 언어의 고유 문자와 12개 언어의 로마자 표기를 담는다. 개발자가 자체 문서로 데이터를 만들 수 있도록 번역·품질 평가·수정 절차도 제공한다.

내용·출처 업데이트 · 2026. 10. 16. 오전 10:51

Gemma-4 토크나이저 기준 고유 문자 데이터 2조6010억 토큰과 로마자 데이터 2246억 토큰으로 구성된다. 실제 학습에 투입한 토큰 수와는 구분된다.

NeMo Data Designer 기반 파이프라인은 원문 식별자를 유지하고 코드·수식·표·서식 보존을 검사한다.

12개 언어는 Gemma-4-31B-it로 번역·평가하고 낮은 점수의 결과를 수정한다. 나머지 10개 언어는 Indic Translate로 번역하며 피드백 기반 재작성은 하지 않는다.

채택 기준인 100점 중 75점은 품질 평가 점수이며 정확도 백분율이 아니다. 자연적으로 작성된 현지 언어 자료를 대체하지 않는다.

회사는 합성·자연어 자료를 함께 사용한 Nemotron의 추가 사전학습 단계에서 인도 언어 벤치마크가 4.98~9.82%포인트 개선됐다고 보고했다. 합성 데이터만의 효과를 분리한 결과는 아니다.

여러 언어·문자 기록이 같은 원문에서 파생될 수 있어, 학습·평가 데이터를 나눌 때 원문 식별자를 기준으로 분리해야 한다.