OpenAI, AI 학습용 robots.txt 공통 신호 지원 예고…수개월 내 구현 목표
OpenAI가 웹사이트의 콘텐츠를 생성형 AI 학습에 쓸지에 관한 공통 선호 신호를 존중하겠다고 밝혔다. 사이트 운영자가 참여 업체 여러 곳에 같은 의사를 전달하도록 하는 취지다. 구현은 앞으로 수개월 내를 목표로 하며, 기존 크롤러별 robots.txt 제어는 계속 유지한다.
웹사이트 운영자는 지금까지 공급자별 크롤러를 식별해 규칙을 따로 관리해야 했다. 공통 신호는 같은 학습 이용 선호를 참여 업체에 함께 전달해 이 관리 부담을 줄이려는 방식이다. OpenAI는 실제 구현 세부 사항을 적용 시점에 다시 알리겠다고 했다.
OpenAI가 연결한 IETF 초안은 robots.txt의 User-Agent에 __usage_ai-training이라는 목적 토큰을 두고, 기존 Allow·Disallow 경로 규칙으로 학습 이용 선호를 표현하는 설계다. 크롤러별 접근 제어와 콘텐츠 이용 선호는 독립된 신호로 구분한다. 새 문법을 추가하는 방식은 아니며, 현재 문서는 개인이 제출한 Internet-Draft여서 IETF가 승인한 확정 표준으로 읽어서는 안 된다. 초안: https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
OpenAI는 다른 AI 공급자들도 이 공통 신호를 존중해 달라고 권고했다.
원문
- Making it easier for websites to express AI training preferencesOpenAI · 원문 2026-10-30