OpenAI 워터마크 평가, 단어 25% 바꾸자 탐지율 92%→17%

9to5Mac이 소개한 OpenAI 평가에서 400토큰 글의 단어 10%를 동의어로 바꾸자 워터마크 탐지율이 약 92%에서 66%로 낮아졌다. 25%를 바꾸면 17%로 떨어졌다. 회사는 워터마크 적용 전후 전반적인 성능 차이는 유의미하지 않았다고 설명했다.

이번 내용은 기존 워터마크 적용 예고에 더해, 편집 비율에 따른 탐지율 변화를 구체적으로 제시한다.

평가 대상은 400토큰 분량이며, 단어를 동의어로 교체하는 편집 조건이다.

textGrain은 모델의 단어 선택에 통계 신호를 넣고 탐지기가 그 신호를 찾는 방식이다.

API는 일부 모델에서 선택적으로 제공하며, EU ChatGPT·Codex의 대상 출력에는 앞으로 몇 주에 걸쳐 적용할 예정이다.

탐지기 접근은 초기에는 승인된 연구자와 전문기관으로 제한한다.

앞선 소식 보기