LLM-as-a-Verifier: 에이전트 작업의 정확성을 검증하는 범용 프레임워크

한줄 요약

LLM의 검증 능력을 새로운 스케일링 축으로 활용하여 에이전트 작업의 정확성을 평가하고 개선하는 범용 프레임워크를 제안한다.

풀어야 하는 문제

에이전트 작업의 결과물이 올바른지 판단하는 검증은 기존에 이산적인 점수를 부여하는 방식으로는 세밀한 피드백이 부족하고, 검증 자체의 성능을 확장하기 어렵다.

접근 방법

LLM-as-a-Verifier는 점수 토큰 로짓의 분포에 대한 기대값을 계산하여 연속적인 점수를 생성한다. 이를 통해 점수 세분화, 반복 평가, 기준 분해 등 여러 차원에서 검증을 확장할 수 있다. 또한, 후보 솔루션 중 최적을 선택하기 위한 비용 효율적인 순위 알고리즘을 도입한다.

결과·기여

Terminal-Bench V2, SWE-Bench Verified 등 여러 벤치마크에서 최신 성능을 달성했다. 검증을 넘어, 생성된 세밀한 신호를 작업 진행 상황 추정의 대리 지표로 활용하고, 강화학습의 피드백으로 사용하여 샘플 효율성을 향상시켰다.