ChatGLM-4, GPT-4에 필적하는 중국어·영어 LLM 시리즈

한줄 요약

ChatGLM-4는 중국어와 영어에 특화된 LLM으로, GPT-4와 경쟁하는 성능을 보이며 도구 사용 능력까지 갖춘 모델군이다.

풀어야 하는 문제

기존 LLM은 특정 언어나 도메인에 편향되거나, 복잡한 작업을 수행하기 위해 외부 도구와의 통합이 부족했다. 또한 대규모 모델의 학습 및 정렬 과정에서 효율성과 성능 간 균형을 맞추는 것이 과제였다.

접근 방법

GLM-4는 10조 토큰(주로 중국어와 영어, 24개 언어 일부)으로 사전 학습 후, 지도 미세 조정과 인간 피드백 학습을 통한 다단계 정렬을 적용했다. GLM-4 All Tools는 사용자 의도를 이해하고 웹 브라우저, 파이썬 인터프리터, 이미지 생성 모델 등을 자율적으로 선택하여 사용하도록 정렬되었다.

결과·기여

GLM-4는 MMLU, GSM8K, MATH, BBH, GPQA, HumanEval 등에서 GPT-4와 유사하거나 더 나은 성능을 보였고, 긴 문맥 작업에서 GPT-4 Turbo 및 Claude 3와 경쟁했다. 중국어 정렬에서는 GPT-4를 능가했다. GLM-4 All Tools는 웹 검색 및 수학 문제 해결 등에서 GPT-4 All Tools를 능가했다. 또한 여러 오픈소스 모델을 공개하여 2023년에만 허깅페이스에서 1000만 다운로드를 기록했다.