Ai2, LLM 참신성 판정 연구 공개…질문 따라 결과 크게 변동
Ai2가 연구 아이디어의 참신성을 판정하는 LLM의 안정성 연구와 벤치마크·데이터·코드를 공개했다. Human+Generated 평가에서 GPT-5.4는 질문 문구만 바꿔도 정답률이 93.5%에서 40.9%로 내려갔다. 인간 아이디어154개와 단순 생성기 결과154개를 짝지은 평가이며, 생성 아이디어가 덜 참신하다는 라벨은 약한 가정이다.
Human-Only는 ICLR 2026 심사평에서 참신성이 인정된 상위 논문 아이디어154개와 참신성 지적이 나온 하위 논문 아이디어145개를 사용했다. 논문 채택 여부 자체를 참신성 라벨로 대신하지 않았다.
Human+Generated는 같은 인간 아이디어154개와 문헌 검색·도구·반복·피드백 없이 단순 LLM 생성기가 만든154개를 비교한다. 개별 생성 아이디어의 낮은 참신성을 모두 검증한 강한 정답 라벨은 아니다.
GPT-5.4에 정확히 하나가 참신하다는 전제를 넣은 질문과 단순히 어느 것이 참신한지 묻는 질문을 비교했을 때 정답률이52.6퍼센트포인트 변했다. 모델 전체의 보편적 정확도 수치로 일반화하지 않았다.
전문가가 별도 검토한30쌍은 강한 판정기가 틀린 사례에 비중을 둔 표본이다. 연구진은 문체 차이를 줄이기 위해 인간·생성 아이디어를 공통 형식으로 다시 작성하는 검사도 했다.
검색·추론 예산 확대나 전용 평가 시스템이 항상 더 나은 판정을 내리지는 않았다. 연구진은 실제 평가할 아이디어 유형과 프롬프트·모델 변화에 대한 민감도를 함께 검사해야 한다고 제안했다.
원문
- Can we trust LLMs to judge whether a research idea is novel?Hugging Face · 원문 2026-10-28