1222명 대상 연구, AI 도움 중단 뒤 문제 풀이 정확도·지속성 감소

UC Berkeley가 소개한 연구에서 온라인 참가자 1222명을 대상으로 무작위 대조 실험을 진행했다. 약 10분간 AI 도움을 받은 집단은 도구를 제거한 뒤 분수·독해 문제의 정확도와 과제 지속성이 떨어졌다. 올해 봄 공개한 초안을 갱신한 동료심사 논문으로, 이번 주 학회에서 발표됐다.

내용·출처 업데이트 · 2026. 10. 11. 오후 8:31

첫 실험의 참가자 354명은 기본 분수 문제 15개를 풀었다. AI 이용 집단에는 ChatGPT를 제공했다가 12문제 이후 제거했다.

분수 문제를 사용한 두 번째 실험에는 667명, SAT 독해 문제를 사용한 세 번째 실험에는 201명이 참여했다.

AI 접근이 가능할 때는 해당 집단의 정확도가 높았지만, 접근을 중단한 뒤에는 오답이나 문제 건너뛰기가 늘었다.

도움 없이 시작한 집단은 과제를 더 지속했고 마지막 단계에서 더 성공적으로 문제를 풀었다.

연구는 특정 문제 풀이에서 도구 제거 직후의 수행 변화를 다루며, 장기적인 능력 손실을 측정한 결과는 제시하지 않았다.

공동 저자 Brian Christian은 빠른 정답 제공보다 튜터처럼 가르치는 응답 방식을 제안했다.

교육용 AI는 도움을 받는 동안의 정답률과 도움 없이 이어서 푸는 능력을 함께 평가할 필요가 있다.