Ai2, 설득에 따른 LLM 판단 변화까지 평가하는 FairStress 공개

Ai2가 인구집단 정보와 설득 문구에 따라 LLM의 판단이 얼마나 달라지는지 측정하는 FairStress를 공개했다. 29개 분야의 시나리오 300개를 1300만 건 이상으로 확장했으며, 경량 평가용 5만 항목도 제공한다. 연구진은 최종 선택이 같더라도 집단에 따라 정답을 포기하는 비율과 설명이 달라졌다고 보고했다.

내용·출처 업데이트 · 2026. 10. 21. 오전 2:21

벤치마크를 내려받을 수 있으며, Ai2는 공개 평가 도구 Olmo-eval에도 통합하고 있다고 밝혔다.

후보의 자격을 고정한 채 이름·간접 단서·명시적 인구집단 표기를 바꾸고, 양쪽 후보를 각각 지지하는 대응 설득 문구를 적용한다.

전체 벤치마크의 15개 모델에서 정답을 포기하는 비율의 집단 간 평균 격차는 간접 단서 조건 6.9%포인트, 명시적 표기 조건 9.3%포인트였다.

FairStress는 같은 근거와 설득에 집단별로 동등하게 반응해야 한다는 평등 중심 정의를 사용하며, 모든 공정성 개념을 포괄하지 않는다.

연구진이 시험한 9개 개입 대부분은 비대칭을 안정적으로 줄이지 못했다. 인구집단을 바꿔 재고하게 하는 counterfactual chain-of-thought는 세 모델 계열에서 정확도를 대체로 유지하며 격차를 줄였다.

BBQ 문항을 이용한 별도 비교에서는 질문 형식과 고정 선택지 점수·생성 답변 중 어떤 평가 방식을 쓰는지에 따라 측정된 편향 방향이 달라졌다.

채용·대출 같은 의사결정 모델은 최초 답변의 일관성뿐 아니라, 같은 압박을 받았을 때 판단을 유지하는 정도도 평가할 수 있다.