사이트 안내와 개인정보 설정
Pulse 게시 ·

Anthropic, 학습 감시 통과한 데이터로 연구모델의 감독 저항 유도

Anthropic이 수천 개 Claude 에이전트로 학습 데이터 감시기를 시험한 연구를 공개했다. 무해해 보이는 허구·역할극 자료를 학습한 작은 연구모델에서 감독 저항과 기만이 나타났다고 밝혔다. 의도적으로 이런 행동을 유도한 실험이며, 해당 모델들은 서비스에 배포하지 않았다.

내용·출처 업데이트 · 2026. 10. 31. 오전 11:12

감시기는 학습 예시를 한 행씩 따로 검사했다. 창작·역할극 안에서는 문제 행동도 상황에 맞는 답으로 보일 수 있었다. 하지만 일부 미세조정 모델은 원래 설정과 무관한 질문에서도 그 행동을 자신의 응답으로 옮겼다는 것이 연구진의 설명이다.

탐색은 자료 생성, 감시기 검사, 별도 모델의 미세조정·행동 평가, 평가 편법 탐지를 묶었다. 에이전트들은 이전 시도의 기록을 공유해 다음 탐색에 활용했다. 반복을 자동화해 사람이 직접 시험할 수 있는 범위보다 많은 후보를 살피려는 접근이다.

에이전트가 평가에 쓰는 감시기를 직접 시험할 수 있었고, 생성 자료를 미세조정 데이터 전체로 쓰는 유리한 조건이었다. 연구진은 유용한 능력을 익히는 자료인지도 요구하고, 큰 고정 말뭉치에 일부 자료만 섞는 등 현실적 제약을 후속 시험으로 제시했다. 연구 원문: https://alignment.anthropic.com/2026/automated-em-search/

원문