물리 기반으로 어떤 촬영 조건이든 보케 편집하는 AnyBokeh 프레임워크

한줄 요약

소스 이미지의 촬영 조건(초점, 조리개)에 구애받지 않고 보케를 자유롭게 편집하는 물리 기반 프레임워크를 제안한다.

풀어야 하는 문제

기존 보케 편집 방법들은 주로 올인포커스 입력을 가정하거나, 먼저 올인포커스 이미지를 복원한 후 새로운 보케를 렌더링하는 파이프라인을 사용한다. 이 과정에서 소스 이미지의 유용한 흐림 단서가 손실되고 복원 아티팩트가 최종 결과물에 전파될 수 있다.

접근 방법

AnyBokeh는 소스 이미지의 흐림을 단순히 제거할 퇴화로 취급하지 않고, 부호가 있는 원형 혼란 맵과 시차 맵을 추정하여 소스의 흐림 상태를 파악한다. 부호가 있는 원형 혼란과 시차 차이의 선형 관계를 모델링하여 소스 특유의 광학 지문을 추정하고, 원하는 초점 및 조리개 설정으로 전달한다. 소스 및 타겟 원형 혼란 맵으로 조건화된 생성 편집기가 상대적 흐림 합성을 수행하여, 공간적으로 적응적인 흐림 해제, 보존 및 디포커스 렌더링을 가능하게 한다. 또한, 정확한 깊이, 초점 거리 및 전체 EXIF 메타데이터를 갖춘 고품질 합성 데이터셋을 구축하여 물리적으로 감독된 학습을 지원한다.

결과·기여

실세계 벤치마크 실험에서 AnyBokeh는 어떤-to-어떤 보케 편집, 올인포커스-to-보케 렌더링, 디포커스 흐림 해제 등에서 정확하고 제어 가능한 편집을 달성한다. 기존 방법들이 일반적으로 요구하는 올인포커스 재구성이나 테스트 시 보케 수준 조정을 피할 수 있다.