Large language models and emergence: a complex systems perspective.
David Krakauer, Melanie Mitchell, J. Krakauer
복잡계 이론의 창발 개념을 통해 대규모 언어 모델의 능력과 지능을 분석하는 리뷰 논문이다.
대규모 언어 모델(LLM)에서 관찰되는 새로운 능력들이 어떻게 정의되고, 측정될 수 있는지에 대한 이론적 프레임워크가 부족하다. 또한, 이러한 능력들이 단순한 스케일링을 넘어 진정한 '지능'으로 볼 수 있는지에 대한 명확한 기준이 없다.
복잡계 과학의 '창발(emergence)' 개념, 즉 '많음이 다르다(More is Different)'는 원리를 도입하여 LLM의 능력을 분석한다. 여러 연구에서 제시된 창발성 정량화 접근법을 검토하고, LLM의 능력이 '덜함이 더하다(Less is More)'는 지능의 특성을 만족하는지 평가한다.
LLM의 능력이 복잡계의 창발 현상과 유사하게 나타남을 체계적으로 검토한다. LLM이 진정한 창발적 지능을 갖추고 있는지에 대한 이론적 질문을 제기하고, 향후 연구 방향을 제시한다.