CAPTCHA 풀이 AI 연구, VLM 답변으로 탐지기를 재학습해 정확도 85.4% 보고

Schneier가 소개한 연구에서 YOLOv8 탐지기와 공개 가중치 VLM을 결합한 CAPTCHA 풀이 시스템이 16개 유형에서 전체 정확도 85.4%를 기록했다. VLM의 답변을 학습 라벨로 재사용하며, 매달 공격 방식을 바꾼 1년간의 모의 방어 실험에서도 탐지기 성능을 매번 회복했다고 연구진은 밝혔다.

내용·출처 업데이트 · 2026. 10. 19. 오후 8:21

신뢰도 기반 라우터가 미세조정한 YOLOv8 탐지기와 공개 가중치 VLM 사이에서 처리를 배분한다.

전체 정확도는 85.4%, 유형별 정확도의 평균인 매크로 정확도는 84.2%로 두 구성요소를 각각 사용했을 때보다 높았다고 보고했다.

브라우저 자동화나 DOM 접근 없이 스크린샷과 운영체제 입력 이벤트만 사용한다.

VLM 답변을 라벨로 활용해 사람의 주석 없이 새 유형을 보통 한두 번의 노출 뒤 학습했다고 설명했다.

모의 실험에서 이미지 교란으로 탐지기 정확도가 0%까지 떨어졌지만 VLM은 영향을 받지 않았으며, 약 70% 정확도의 교사 모델도 복구 학습에 효과적이었다.

탐지기만 무력화하는 이미지 변형은 VLM이 계속 정답 라벨을 공급하면 효과가 오래가지 않을 수 있다.