Dharma-AI, 과제별 어휘 재구성으로 소형 모델 추론 비용 77% 절감 보고

Dharma-AI가 출력 비용을 반영해 모델 어휘를 재구성하는 VocabX의 실험 결과를 공개했다. Qwen3-4B 기반 포르투갈어 논술 채점기를 같은 데이터·학습법으로 훈련하고 RTX 5090·vLLM에서 500건을 처리한 결과, 실행시간 기반 비용이 77% 줄고 자체 품질 점수는 높아졌다고 밝혔다. 논문은 아직 심사 중이다.

내용·출처 업데이트 · 2026. 10. 22. 오전 2:41

기본 모델·데이터·학습 방식·시드를 유지하고 토크나이저만 바꾼 채점기 7종을 비교했다.

평균 출력 길이는 350토큰에서 101토큰으로 줄었고, 채점과 부적절한 논술 판별을 합친 자체 점수는 0.703에서 0.810으로 올랐다.

해당 환경에서 출력 토큰의 비용은 입력 토큰의 7.4배였다. VocabX는 이 차이를 어휘 선택에 반영하며, 비율은 하드웨어·배치·문맥 길이에 따라 달라진다.

어휘 크기를 약 15만2000개에서 약 6만5000개로 줄이고, 반복되는 문구와 JSON 구조를 매크로 토큰으로 묶었다.

5개 공개 도메인·3개 모델 계열의 추가 비교에서는 15개 조합 모두 기준 방법보다 압축률이 높았다. 이 비교의 추론 비용은 실측이 아닌 추정치다.

반복되는 JSON 구조는 묶되 채점 결과는 별도 토큰으로 남겼을 때, 최대한 압축한 구성보다 품질과 비용이 모두 나았다.