토스 쇼핑, 추천 후보 절반으로 줄이고 구매 전환율 개선

토스가 10월 1일 추천 모델별 후보 수를 정수계획법으로 배분한 사례를 공개했다. 7일간 홈 피드 실험에서 후보를 약 절반으로 줄이면서 사용자 구매 전환율은 기존 대비 7.55%, 사용자당 주문 수는 10.13% 높아졌다. 다만 클릭률은 3.71%, 사용자당 고유 노출 상품 수는 22.07% 감소했다.

각 리트리벌 모델이 랭커로 넘기는 TopK를 동일 비율로 줄이지 않고, 예상 구매 가치인 pICVR 합을 높이는 조합을 선택했다.

실험 수치는 비교군 대비 상대 변화율이며, 현재는 모든 사용자에게 같은 모델별 TopK를 적용한다.

후보를 일괄적으로 4분의 1로 줄인 실험군은 전환율 개선 폭이 더 컸지만 사용자당 매출은 3.98%, 평균 주문액은 5.73% 감소했다.

후속 Gumbel Weighted Sampling 실험에서는 목표 지표를 유의하게 떨어뜨리지 않으면서 피드 중복도를 평균 11.25% 낮추고 노출 상품 다양성을 4.61% 높였다.

구매 확률만 최적화하면 상품 발견 기회가 줄어들 수 있어, 후보 배분과 다양성 확보를 함께 설계해야 한다.