한줄 요약
LLM은 토큰 시퀀스라는 상태 공간과 토큰 추가라는 단일 행동을 가진 세계 모델의 특수 사례이며, NTP에서 JEPA로의 연속적 확장 경로가 존재한다.
풀어야 하는 문제
AI 커뮤니티는 LLM(토큰 예측)과 세계 모델(현실 시뮬레이션)을 대립하는 이분법으로 이해하는 경향이 있다. 본 논문은 이러한 이분법이 불필요하며, LLM을 세계 모델의 일반화된 프레임워크 안에 자연스럽게 위치시킬 수 있음을 주장한다.
접근 방법
LLM을 세계 모델로 재정의: LLM의 상태 공간(모든 토큰 시퀀스), 행동(토큰 하나 추가), 목표(다음 토큰 예측)를 세계 모델의 범주로 설명한다.
연속 스펙트럼 제시: NTP(Next-Token Prediction)에서 JEPA(Joint Embedding Predictive Architecture)로 가는 과정에 멀티토큰 예측, 미래 요약 예측, 다음 잠재 예측 등 현재 연구가 위치하는 중간 단계를 배치한다.
과제 분석: 이 스펙트럼을 따라 이동할 때 LLM의 두 가지 실용적 이점(인터넷 규모의 자기감독 데이터, 이산 토큰 예측에 최적화된 트랜스포머 아키텍처)이 어떻게 점진적으로 상실되는지, 그리고 그에 따른 데이터(자기감독 텍스트에서 환경 데이터로의 절벽)와 아키텍처(트랜스포머의 일반화 가능성) 과제를 탐구한다.
결과·기여
이론적 통찰: LLM과 세계 모델의 관계를 대립이 아닌 포괄 관계로 재정립하여, 향후 연구의 방향성을 제시한다.
연구 로드맵: NTP에서 JEPA로의 발전을 하나의 연속적인 스펙트럼으로 시각화하고, 그 과정에서 해결해야 할 핵심 연구 질문(데이터 및 아키텍처)을 명확히 정의한다.
실용적 고려: 이론적 발전이 실질적인 훈련 가능성(데이터, 아키텍처)과 어떻게 연결되는지 분석하여, 연구의 현실적 제약을 함께 고려하도록 유도한다.