평균 이미지를 활용해 딥페이크 탐지기의 일반화 성능을 개선하는 원클래스 학습 방법

한줄 요약

실제 이미지만으로 학습해 새로운 생성 모델에 대한 일반화 성능이 뛰어난 원클래스 딥페이크 탐지기 μFlow를 제안합니다.

풀어야 하는 문제

최신 생성 모델(GAN, 디퓨전 모델)의 사실적인 이미지 생성으로 인해 딥페이크 탐지기의 일반화 능력이 중요해졌습니다. 기존 방법들은 실제와 가짜 이미지로 지도 학습을 수행해, 학습 시 보지 못한 새로운 생성기 카테고리(예: GAN vs 디퓨전 모델)에 대해 성능이 크게 저하됩니다.

접근 방법

여러 이미지를 평균화하면 생성 모델이 남긴 일관된 흔적이 강조된다는 관찰을 기반으로 합니다. 실제 이미지의 평균 이미지에서 추출된 특징 분포를 모델링하고, 개별 이미지의 특징 공간을 이 분포에 정렬하도록 정규화 흐름(Normalizing Flow)을 학습시킵니다. 이를 통해 실제와 가짜 샘플을 구분하는 가능도 기반 기준을 얻습니다.

결과·기여

완전히 새로운 데이터셋(학습 시 보지 못한 실제 및 가짜 데이터)으로 평가한 결과, 기존 최신 탐지기들보다 성능을 크게 능가합니다. 실제 이미지만으로 학습해 새로운 생성기에 대한 강건한 일반화를 달성한 점이 주요 기여입니다.