背景與挑戰
在單張影像基礎上生成一致性高的新視角（Novel View Synthesis）是計算機視覺中重要課題。根據arXiv:2506.23518v2（WAVE論文）指出，擴散模型（Diffusion Models）雖然在影像生成領域取得突破，但其因逐步去噪過程與自注意力機制，容易在多視角輸出時造成結構不連貫，導致細節錯位或形變，無法滿足實務應用對空間連續性的需求。
過去常見做法結合3D幾何模組（如Mesh或TSDF重建）與多階段管線，雖能改善視角一致性，卻增加計算與部署成本，不符即時渲染或輕量化SaaS產品要求。WAVE團隊為解決此困境，提出一種無需額外模型、且可用於任意擴散框架的「Warp-Based View Guidance」方法。
WAVE 方法核心設計
WAVE以訓練Free的方式，透過視角引導的扭曲映射（view-guided warping），對擴散過程中的注意力權重與噪聲重新初始化進行動態調節。其流程可分為三大步驟：
1. 視角映射場生成：利用已知相機姿態或兩個參考視角，經由射影變換（Projective Transform）計算像素對應關係，產出Warp場。
2. 自注意力權重適配：在每次擴散網絡的Self-Attention層前，根據Warp場將特徵圖重映射至目標視角，調整查詢（Q）、鍵（K）與值（V）矩陣權重，以強化跨視角的結構連續性。
3. 噪聲重啟（Noise Reinitialization）：在關鍵去噪迭代階段，將Warp後的噪聲場注入到當前擴散狀態，確保視角變換後的細節紋理與全局結構一致。
此設計不需要重新訓練原始的擴散模型，只要插入上述操作，即可在推論（inference）階段直接使用。根據WAVE作者的開源實驗碼，可兼容Stable Diffusion、Imagen與其他主流架構。
評估指標與實驗結果
為全面衡量新視角合成品質，WAVE提出一套適用於Novel-View Dataset的指標框架，包含：
• 預測一致性（Prediction Consistency, PC）：基於光度重建誤差與結構相似度（SSIM）評估同一場景不同視角間的對齊度。
• 視覺連續性（Visual Continuity, VC）：計算視角間像素梯度差異與紋理延展品質。
• 幾何保真度（Geometric Fidelity, GF）：利用深度估計模型（如MiDaS）輸出深度圖，量化重投影後的幾何偏差。
根據論文中在ShapeNet與DTU資料集上的Benchmark（表1–3），WAVE在PC指標上平均提升15%，VC提升12%，GF提升8%，相較於原始Stable Diffusion與DreamFusion均有明顯優化。實驗也顯示，在不同解析度（512×512至1024×1024）與不同場景類型（室外、室內、工業構件）中，WAVE方法均保持穩定表現。
與既有方案比較
對比現有三大類方法：
1. 幾何先驗結合：如NeRF-Enhanced Diffusion（依賴三維場重建），雖可提高一致性，但需要多視角資料訓練，且部署複雜度高。
2. 時間步插值引導：部分研究透過中間步長插值（Temporal Interpolation）降低抖動，對動態場景有效，但對靜態單張輸入無能為力。
3. 多模型融合：將3D重建網絡與Diffusion串接，需額外GPU記憶體與計算資源。
相比之下，WAVE的Warp-Based Guidance屬於「inference-only」插件式操作，不改動原始訓練參數，能在不影響推論效率前提下，同步兼容各種擴散模型。此優勢使其更適合於產品化與SaaS場景。
應用前景與實踐建議
從實務角度看，WAVE方法可直接整合至雲端圖像處理API或本地推論服務，為AR/VR、虛擬試衣、新零售商品展示等場景提供更為流暢的多視角體驗。此外，企業在導入時，建議：
• 收集多樣化相機姿態：提升Warp場計算的穩定性與細節還原度。
• 與線上深度估計服務結合：在GF指標需求高的工業檢測或建築可視化中，確保幾何精度。
• 控制推論延遲：可調整噪聲重啟頻率與Attention操作次數，以符合實時性需求。
總結而言，WAVE提供了一條簡潔且具擴展性的路徑，讓單張影像新視角生成不再僅是離線實驗，而可進一步應用於產品化環境。未來可考慮將此方法與生成式AI服務深度整合，提升多模態交互與即時渲染品質。
參考連結：arXiv:2506.23518v2
邀請體驗更多技術分享：https://www.okx.com/join?channelId=42974376
