Harnessing Multiple Large Language Models: A Survey on LLM Ensemble
Zhijun Chen, Jingzheng Li, Pengpeng Chen, Zhuoran Li, Kai Sun, Yu Luo, Qianren Mao, Di Yang 외
LLM 앙상블 기법을 추론 시점에 따라 분류하고 관련 연구를 종합한 최초의 서베이 논문.
개별 LLM은 각기 다른 강점과 약점을 가지며, 단일 모델로는 모든 유형의 질의에 최적의 답변을 제공하기 어렵다. 여러 LLM을 효과적으로 결합하는 앙상블 방법론에 대한 체계적인 이해가 부족하다.
LLM 앙상블을 '추론 전 앙상블', '추론 중 앙상블', '추론 후 앙상블'로 분류하고 각 범주에 속한 구체적 방법들을 리뷰한다. 또한 관련 벤치마크와 응용을 소개하고 향후 연구 방향을 제안한다.
LLM 앙상블 분야의 첫 체계적 서베이로, 방법론 분류 체계를 제공하고 기존 연구를 종합하여 향후 연구의 기반을 마련했다. 관련 논문 목록을 큐레이션한 GitHub 저장소도 공개했다.