자기 증류의 모든 것을 하나로 통합하는 LLM 학습 프레임워크

한줄 요약

자기 증류의 다양한 설계 선택지를 하나의 통합 프레임워크로 체계화하여 LLM의 효율적인 적응을 달성한다.

풀어야 하는 문제

자기 생성 경로의 자유 형식성, 작업별 정확성, 그리고 그럴듯한 설명의 불안정한 감독 문제로 인해 자율회귀 LLM에서의 자기 증류는 여전히 어렵다. 기존 연구들은 고립된 설계 선택지만 검토하여 그 효과와 상호작용이 불명확하다.

접근 방법

UniSD는 다중 교사 합의, EMA 교사 안정화, 토큰 수준 대조 학습, 특징 매칭, 발산 클리핑 등 상호 보완적인 메커니즘을 통합한다. 이를 통해 감독 신뢰성, 표현 정렬, 훈련 안정성을 체계적으로 해결한다.

결과·기여

6개 벤치마크와 3개 모델 패밀리의 6개 모델에서 UniSDfull은 기본 모델 대비 +5.4점, 최강 기존 기법 대비 +2.8점의 성능 향상을 달성했다. 이 연구는 자기 증류가 외부 교사 없이도 실용적이고 제어 가능한 LLM 적응 방법임을 보여준다.