LLM 에이전트의 실패 가능성을 초기에 탐지해 연산을 절약하는 캐스케이드 기법

한줄 요약

LLM 에이전트의 내부 표현을 분석해 실패를 조기에 예측하고, 불필요한 연산을 중단하는 캐스케이드 기법을 제안합니다.

풀어야 하는 문제

LLM 에이전트는 다단계 작업 수행 중 실패할 수 있는 궤도에 빠지더라도 실패가 명확해질 때까지 상당한 추론 연산을 소모합니다. 이는 비효율적이며, 관찰 가능한 행동만으로는 실패를 조기에 예측하기 어렵습니다.

접근 방법

에이전트의 은닉층 활성화에 대한 가벼운 라운드별 탐지기(probe)를 사용해 에피소드의 최종 실패를 예측합니다. 이 예측 신호를 기반으로, 각 라운드마다 분포에 의존하지 않는 보정된 게이트를 배치한 캐스케이드를 설계합니다. 각 라운드의 회수(recall) 예산을 공동으로 탐색해, 최종적으로 성공하는 에피소드가 지정된 확률로 모든 게이트를 통과하도록 보장합니다.

결과·기여

TextCraft 환경에서 두 가지 에이전트 모델(Qwen-2.5-7B, Llama-3.2-3B)을 대상으로 실험한 결과, 캐스케이드는 90%에서 97%까지의 모든 회수 목표를 달성했습니다. 90% 목표에서 각각 약 47.1%와 37.2%의 추론 연산을 절감했으며, 이는 최적의 단일 게이트 정책보다 1.6~1.7배 더 효율적입니다. 행동만 읽는 동일한 캐스케이드는 절반 정도의 비용만 절감했으며, 탐지기에 행동 특징을 추가해도 추가적인 이득이 없었습니다. 이는 은닉 상태가 행동이 드러내는 정보를 포착한다는 것을 시사합니다. 또한, 높은 회수 목표를 인증하기 위한 샘플 복잡도를 분석해 실무자들이 어떤 수준의 회수 보장을 데이터로 뒷받침할 수 있는지 제시합니다.