KT, ‘모두의 AI’ 모델 라우팅으로 운영비 15~20% 절감 목표

한국경제에 따르면 KT는 ‘모두의 AI’에서 질문 성격·난이도에 맞춰 국산 모델을 선택하는 토큰 팩토리를 활용한다. KT 팀장은 모델 라우팅과 추론 최적화 등을 종합하면 운영비를 약 15~20% 줄일 수 있다고 설명했다. 다음·다나와 등 외부 서비스에서도 AI를 쓰도록 연결할 계획이다.

10월 7일 간담회에서 공개한 비용 절감 전망으로, 실제 서비스 운영에서 측정한 절감 실적은 제시하지 않았다.

하나의 LLM에 의존하지 않고 업스테이지 등 컨소시엄 참여 기업의 모델을 질문별로 골라 연결하며 불필요한 연산을 줄이는 구조다.

‘이음 인사이드’를 통해 모두의 AI 앱 밖에서도 기능을 제공하고 제휴사를 확대할 계획이다.

기존 출시 계획에 더해 11월 이용자·서비스 확대 단계를 설명했다. 10월 제한된 이용자 대상 베타를 거쳐 12월 웹사이트·앱으로 정식 제공할 예정이다.

외부 서비스에 에이전트를 연결하면 이용자가 모두의 AI 앱으로 이동하지 않고 기존 서비스에서 작업을 시작할 수 있다.

앞선 소식 보기