잠에서 영감받은 기억 통합으로 LLM의 맥락 간섭 해결

한줄 요약

수면에서 영감받은 기억 통합 메커니즘을 통해 LLM의 맥락 간섭 문제를 해결하는 방법.

풀어야 하는 문제

LLM은 긴 맥락에서 오래된 정보가 새로운 정보 검색을 방해하는 선제적 간섭(proactive interference)에 취약하다. 이는 맥락 길이와 무관하게 발생하며 프롬프트 엔지니어링으로 해결되지 않는다.

접근 방법

SleepGate는 KV 캐시에 세 가지 메커니즘을 도입한다: (1) 충돌 인식 시간 태거로 오래된 항목 식별, (2) 경량 망각 게이트로 오래된 항목 선택적 제거/압축, (3) 통합 모듈로 생존 항목을 요약으로 병합. 이들은 추론 중 주기적으로 활성화되며, 적응형 엔트로피 기반 트리거로 제어된다. 훈련은 언어 모델링과 수면 후 검색을 결합한 이중 목적 함수를 사용한다.

결과·기여

소규모 트랜스포머 실험에서 SleepGate는 PI 깊이 5에서 99.5%, 깊이 10에서 97.0%의 검색 정확도를 달성한 반면, 모든 기준선은 18% 미만이었다. 이론적으로 간섭 지평을 O(n)에서 O(log n)으로 줄인다.