적응형 표현을 사용한 함수 공간 경사 하강법

한줄 요약

함수 공간 경사 하강법(FGD)의 실용적 구현을 위해 경사 함수의 표현을 적응적으로 학습하는 알고리즘을 제안하며, 이론적 수렴 보장과 다양한 실험에서의 우수한 성능을 입증했다.

풀어야 하는 문제

함수 최적화 문제는 보통 신경망 같은 고정된 표현의 파라미터를 최적화하는 방식으로 풀리는데, 이는 비볼록 손실을 초래하여 훈련과 이론적 분석을 어렵게 만든다. 함수 공간 경사 하강법(FGD)은 함수 공간에서 직접 경사 하강을 수행하여 강력한 수렴 결과와 깔끔한 이론을 제공하지만, 함수 경사가 무한 차원이어서 완전히 계산하거나 저장할 수 없어 실용적 구현이 어렵다. 기존 구현은 고정된 근사를 사용하여 근사 오차가 발생한다.

접근 방법

본 연구는 최적화 과정에서 함수 경사의 표현을 적응적으로 학습하는 새로운 FGD 알고리즘을 제안한다. 구체적으로, 각 반복에서 함수 경사를 유한 차원의 선형 조합으로 근사하되, 이 근사의 기저 함수를 데이터와 현재 모델에 기반하여 동적으로 업데이트한다. 근사 오차를 분석에 명시적으로 포함시켜, 평활 손실에 대해 정상점으로 수렴하고, 평활성과 Polyak-Lojasiewicz 조건 하에서 전역 최소점으로 수렴함을 증명한다.

결과·기여

회귀, 편미분방정식의 수치해, 현대 컴퓨터 비전 작업에서 실험을 수행했다. 모든 설정에서 제안 방법이 고정 근사 FGD와 신경망 기준선보다 효율성과 정확도에서 일관되게 우수한 성능을 보였다. 이론적으로는 일반적인 설정에서 수렴을 보장하는 최초의 구현 가능한 FGD 방법이다.