토스, AI 모델 승인 조건을 실제 호출에 적용하는 플랫폼 구조 공개

토스가 사내 AI 플랫폼의 권한·보안·비용·처리 용량 관리 구조를 공개했다. Portal에서 승인한 프로젝트별 모델·예산·사용량 조건을 GenAI Gateway가 호출마다 적용하며, MCP 도구 실행 권한은 별도 Gateway가 확인한다. 입력 개인정보 검사와 로그 마스킹을 분리하고, 확보한 용량이 부족하면 같은 모델의 종량제 경로로 전환한다.

내용·출처 업데이트 · 2026. 10. 13. 오전 11:51

API 키가 여러 개여도 같은 프로젝트의 모델 권한·예산·사용량을 함께 관리한다.

모델 공급자별 인증·요청 형식 변환은 어댑터가 처리하고, 권한 확인·사용량 제한은 공통 로직으로 분리했다.

MCP Gateway는 프로젝트·서버·RPC 메서드·도구 이름을 확인한다. 연결된 서비스의 데이터 접근 권한은 별도로 검사해야 한다.

일반 로그의 개인정보를 마스킹하거나 본문 기록을 끄면서 호출 상태·지연시간·사용량·실패 단계를 남긴다.

월 예산과 TPM 한도를 별도로 관리한다. 입력·예상 출력 토큰을 예약한 뒤 실제 사용량으로 보정하며, 이 계산은 비용 청구와 별개다.

약정 용량의 장애가 풀리면 다시 해당 경로를 사용한다. 모델 자체를 바꾸는 결정은 별도 평가 후 서비스 담당자가 맡는다.

처리 중인 요청의 토큰을 먼저 예약하면, 응답이 끝난 요청만 집계할 때 생기는 용량 초과를 줄일 수 있다.