순차 데이터 생성을 위한 잠재 변수 순환 신경망

한줄 요약

순환 신경망에 변분 오토인코더의 잠재 변수를 결합하여 순차 데이터의 변동성을 효과적으로 모델링하는 VRNN을 제안한다.

풀어야 하는 문제

기존 RNN은 결정론적 은닉 상태만으로는 자연 음성과 같은 복잡한 순차 데이터의 다양한 변동성을 포착하기 어렵다. 확률적 요소를 도입하여 이러한 한계를 극복할 필요가 있다.

접근 방법

RNN의 각 타임스텝에서 잠재 변수를 샘플링하고, 이를 은닉 상태와 결합하여 다음 출력을 예측한다. 변분 추론을 통해 잠재 변수의 사후 분포를 근사하고, ELBO 최대화로 학습한다.

결과·기여

네 가지 음성 데이터셋과 하나의 필기 데이터셋에서 VRNN이 기존 RNN, VAE, SRNN 등보다 우수한 성능을 보였다. 잠재 변수가 RNN 동역학에서 중요한 역할을 함을 실증적으로 확인했다.