ProvenanceGuard, MCP 에이전트 답변의 사실·출처 연결 검사

Multiverse Computing이 9월 29일 MCP 에이전트의 답변과 인용 출처를 함께 검사하는 ProvenanceGuard 연구를 소개했다. 연구진에 따르면 의료 에이전트 답변 40개의 주장 361개에서 차단 대상 139개 중 138개를 잡았다. 다만 전문가가 근거 있다고 판단한 주장 67개도 검토·수정 대상으로 막았다.

에이전트를 재학습하지 않고 생성된 답변을 주장 단위로 나눠 근거 자료와 명시·암시된 출처를 비교한다.

평가 구성은 로컬 모델을 사용했으며, 숫자·날짜·식별자가 근거 자료에 실제로 있는지도 검사한다.

주 평가의 식별 가능한 출처 선택 정확도는 약 86%였다. 유사한 자료가 여러 개 있는 별도 시험에서는 정확한 출처 식별이 50.3%로 낮아졌다.

근거를 유지한 채 인용 출처만 바꾼 통제 실험 50건은 모두 탐지했다.

전체 실행 기록을 이용한 수정 단계에서는 차단 답변 173개 중 144개가 실질적인 재작성 대신 대체 응답으로 끝났다. 보고된 로컬 구성의 검사 시간은 답변당 약 0.5초였다.

도구 출력의 출처 ID를 실행 기록에 남기면, 사실이 맞더라도 다른 자료에서 나온 내용을 잘못 인용하는 오류를 따로 추적할 수 있다.