대규모 언어 모델의 발전과 활용에 대한 종합적 조사

한줄 요약

LLM의 사전 학습부터 평가까지 전 과정을 아우르는 포괄적 서베이로, 주요 기술과 미래 과제를 체계적으로 정리했다.

풀어야 하는 문제

LLM의 급속한 발전으로 인해 연구자들이 전체 그림을 파악하기 어려워졌다. 기존 서베이는 특정 측면에 집중하거나 빠르게 구식화되어, LLM의 전 생애주기를 아우르는 통합적이고 최신의 프레임워크가 필요하다.

접근 방법

저자들은 4가지 핵심 차원(사전 학습, 후처리, 활용, 평가)을 설정하고 각각에 대해 최신 연구를 수집·분류·분석했다. 사전 학습에서는 스케일링 법칙, 아키텍처 혁신, 데이터 큐레이션을 다루고, 후처리에서는 SFT와 RLHF를, 활용에서는 ICL, 프롬프트 엔지니어링, 에이전트 추론을, 평가에서는 언어 능력, 추론, 안전성 벤치마크를 종합했다.

결과·기여

LLM 연구의 현재 상태와 한계를 체계적으로 조망하는 종합적 프레임워크를 제공한다. 특히 이론적 이해 부족, 확장의 효율성 문제, 정렬의 어려움, 에이전트 능력의 미성숙 등 주요 도전 과제를 명확히 식별하여 향후 연구 방향을 제시한다.