Mercor, AI 벤치마크의 미국 직무 평가 공백 지도 공개

Mercor가 AI 벤치마크 29개를 미국 직업·업무 분류에 연결한 지도를 공개했다. 자체 분석에서 충분한 평가 문항이 있는 업무를 가진 직업은 923개 중 208개였고, 노동시간 약 90%는 평가가 부족한 업무에 쓰인다고 추정했다. 선정한 벤치마크에 한정된 잠정 결과로, 전체 평가 자료를 포괄하지 않는다.

내용·출처 업데이트 · 2026. 10. 17. 오전 3:01

미국 노동부 O*NET의 직업 923개·업무 1만8797개를 기준으로 벤치마크 문항을 연결했다.

LLM 평가자가 한 업무에 문항을 최소 5개 연결한 경우 해당 업무가 평가된 것으로 집계했다. 연결 방식은 APEX 일부 자료에서 전문가 분류와 대조했다.

22개 직업군 중 6개에는 기준을 충족하는 직업이 없었다.

노동시간 비중은 업무별 시간 배분을 추정한 별도 LLM 기반 연구와 결합해 계산했다.

공개성·에이전트 작업·현실성·난도 등을 기준으로 벤치마크를 선정하고 직업군별 수를 제한해, 선택에 따른 편향이 남는다.

법률·회계·소프트웨어 공학 등 4개 직업의 APEX 점수를 업무별로 동일 가중해도 단순 평균과 대체로 비슷했지만, 포함 가능한 업무는 각 직업 관련 업무의 3분의 1 미만이었다.

직업별 AI 도입을 검토할 때는 종합 점수와 함께 실제 맡길 업무가 평가 문항에 포함됐는지 확인하는 데 쓸 수 있다.