사이트 안내와 개인정보 설정
Pulse 게시 ·

토스 SNAP, 동일상품 판별 요청 33~37% 소형 모델로 처리

토스가 소형 모델이 자신 있게 처리할 수 있는 요청만 맡고 나머지는 기존 LLM에 보내는 SNAP 운영 사례를 공개했다. 첫 적용인 동일상품 판별에서 약 6일간 요청의 33~37%를 소형 모델로 처리했다. 채택 기준은 정답률이 아니라 검증 데이터에서 기존 LLM 판단과 99.9% 이상 일치하는 구간으로 정했다.

내용·출처 업데이트 · 2026. 10. 27. 오후 6:09

SNAP은 시스템 프롬프트 앞부분을 해시한 작업 식별자로 호출 로그를 묶고, 추정 비용이 큰 작업부터 내재화 후보로 검토한다.

정형 응답에서 레이블을 안정적으로 추출하고 학습·평가 데이터를 나눌 수 있는 작업만 Airflow 일일 배치로 학습·등록한다.

동일상품 판별 검증 요청 100,648건 중 34,963건을 채택했다. 채택 결과 중 34건이 기존 LLM 판단과 불일치했으며 일치율은 99.9028%, 채택 범위는 34.74%였다.

기준 점수 이상이면 소형 모델 결과를 쓰고, 기준에 못 미치면 기존 LLM을 추가 호출한다. Confidence 점수 자체를 정답 확률로 보지는 않는다.

첫 배포 후 약 6일간 줄인 LLM 토큰 사용량은 입력 약 76억 개·출력 약 4,520만 개라고 설명했다.

L4 GPU 한 장의 별도 부하 시험에서 초당 1,203건 처리 시 p50 9.02ms·p99 15.23ms를 기록했다. 운영 전체 요청의 지연 측정치는 아니다.

원문