LLM을 재프로그래밍하여 시계열 예측 수행

한줄 요약

TimeLLM은 사전 학습된 대규모 언어 모델(LLM)을 재프로그래밍하여 시계열 예측을 수행하는 방법론이다.

풀어야 하는 문제

기존 시계열 예측 모델은 특정 도메인에 특화되어 있어 일반화 성능이 낮고, 대규모 시계열 데이터셋 부족으로 멀티모달 기반 모델 개발이 어렵다. 반면 LLM은 긴 토큰 시퀀스 이해에 뛰어나지만, 이를 시계열 신호에 직접 적용하기 어렵다.

접근 방법

TimeLLM은 시계열 신호를 텍스트 프로토타입으로 변환(리프로그래밍)하여 LLM 입력에 맞춘다. 또한 Prompt-as-Prefix(PaP) 기법을 도입하여 맥락 정보를 강화하고, LLM의 추론 능력을 시계열 예측에 활용한다. LLM 백본은 고정(frozen) 상태로 유지하여 효율성을 높인다.

결과·기여

다양한 시계열 예측 벤치마크에서 TimeLLM은 기존 특화 모델들을 능가하는 성능을 보였으며, LLM의 시계열 예측 가능성을 입증했다. 이는 시계열 분야에서 최초의 대규모 멀티모달 접근법으로, 향후 연구 방향을 제시한다.