사전학습된 모델에 구면 위치 인코딩을 주입해 360도 파노라마를 생성하는 제로샷 프레임워크

한줄 요약

사전학습된 확산 트랜스포머에 구면 위치 인코딩을 주입해 트레이닝 없이 360도 파노라마를 생성하는 제로샷 프레임워크입니다.

풀어야 하는 문제

기존 360도 파노라마 생성 방법은 희소한 파노라마 데이터에 대한 비용이 많이 드는 파인튜닝에 의존하거나, 높은 추론 지연 시간을 초래하는 다단계 최적화를 활용합니다. 또한, 기존 모델은 등갹도 투영(ERP)이 요구하는 엄격한 위상학적 제약을 충분히 충족하지 못합니다.

접근 방법

SpheRoPE는 표준 회전 위치 임베딩(RoPE)을 구면 RoPE로 대체합니다. 저주파 채널은 구면 다리안을 인코딩하기 위해 3D 데카르트 좌표로 재매개변수화되고, 고주파 채널은 정확한 주기성을 강제하기 위해 조화 양자화됩니다. 여기에 기하학을 명시적으로 유도하는 보조적인 의미 왜곡 분류기 없는 가이던스(CFG)가 결합되어 재학습 없이 최신 모델의 창의성을 계승합니다.

결과·기여

Flux.1, Flux.2, LTX-Video 백본을 활용한 텍스트-투-파노라마 생성에서 트레이닝 프리 상태로 기존 기반선과 경쟁력 있는 성능을 달성했습니다. 이 방법은 다양한 백본과 360도 생성 모달리티에 걸쳐 일반화 가능성을 보여줍니다.