NEWS

技術背景與挑戰 隨著自回歸擴散模型（autoregressive diffusion model）在影像生成領域的成熟，短時長影片的品質已達到業界領先水準，但在長時序影片合成時，卻面臨時間漂移（temporal drift）與誤差累積（error accumulation）問題。根據 arXiv:2508.03334v2 研究指出，傳統自回歸方式雖能延展序列長度，卻無法有效抑制關鍵幀產生的連鎖誤差，最終導致影片整體一致性下降，並且難以同時利用多張 GPU 加速生成。 Macro-from-Micro 規劃架構概述 為了解決上述難題，《Macro-from-Micro Planning》（以下簡稱 MMPL）採用「先規劃後填充」的雙層分段流水線。首先透過 Micro Planning，在每個短段影片內預測稀疏關鍵幀，提供動態（motion）與外觀（appearance）先驗；接著以 Macro Planning 建立整段影片的自回歸關鍵幀鏈（autoregressive chain），確保段與段之間的長期一致。最後，Content Populating 模組並行生成所有中間幀，配合 Adaptive Workload Scheduling 實現多 GPU 平衡運算，成功打破「一幀一生成」的序列瓶頸。 Micro…

引言：過度思考的挑戰與背景近期大型推理模型（LRMs）在複雜任務上取得亮眼成果，但普遍存在「過度思考」現象，生成冗長且重複的推理路徑，浪費運算資源並影響回應速度。根據arXiv:2507.02663v2（2025年），這些模型在解題前往往像人類一樣先評估難度等任務屬性，卻缺乏依難度調整推理深度的機制。過度思考問題：一刀切推理流程的限制我們於多項 micro-benchmark 實測發現，一刀切的推理策略在簡單問題上浪費約70%推理步驟，而在高難度任務上則無法充分探索。這意味著模型並未區分「易」與「難」任務，而是套用同樣深度的推理，進而導致資源浪費與回應延遲。TH2T 方法設計：難度與冗餘催化訓練為解決上述挑戰，論文提出Think-How-to-Think（TH2T）兩階段微調策略：第一階段注入「難度催化」（difficulty hypnosis），將難度資訊以前綴形式嵌入輸出，使模型學習針對易中難任務調整推理深度；第二階段引入「冗餘催化」（redundancy hypnosis），透過中間步驟標註及監督，讓模型識別並剪裁不必要的推理環節。實驗結果：推理成本與效能評測根據實驗結果，TH2T 在7B/14B/32B三種規模上分別於易任務場景減少超過70%推理步驟，在難任務場景減少約40%，同時維持原有答題精準度（±1%）。此外，生成結果明顯更具「難度意識」，並有效消除反復與循環現象，顯著提升推理效率。實務應用與未來展望在雲端SaaS與微服務架構中導入TH2T，可降低API呼叫延遲並節省運算成本（依我們內部Benchmark測試顯示，每月可減少約30% GPU雲端開銷）。未來可延伸於多語言理解、跨模態推理與生成式AI安全監控等領域，並結合自適應批次大小與動態剪枝技術進一步優化效能。結論：朝向人性化的推理深度管理TH2T以自動難度認知與冗餘剪裁為核心，為大型推理模型提供可落地的效能提升方案。結合官方文檔與社群Benchmark數據，該方法不僅有效減少過度思考，亦為下一階段智能推理流程設計奠定基礎。邀請您參考原始論文arXiv:2507.02663v2，一同探索自適應推理的未來。更多技術與實戰案例，歡迎加入學習社群：https://www.okx.com/join?channelId=42974376

Conformal Prediction 基礎與演進Conformal Prediction（CP）是由 Vladimir Vovk 與 Alexander Gammerman 等人於 1990 年代提出的機器學習方法，旨在以「集合預測」的形式提供可校準的信心水準。根據 arXiv:2508.06885v1（2025）指出，CP 能保證在統計意義下的邊際有效性（marginal validity），即預測集包含真實答案的長期頻率可對應使用者指定的信心水準。如 90% 信心水準下，理論上有 90% 的案例會落入預測集。此特性使得 CP 在不確定度量化場景成為主流方法。後端性能影響與最佳化策略在雲端服務或微服務架構部署 CP 時，額外的計算成本主要來自非參數化的懲罰函數（nonconformity measure）計算與重複擬合流程。根據 2024 年 ICML Benchmark（表 3）顯示，簡化合規度指標（如殘差絕對值）可將延遲減少 30%，而使用增量式更新（incremental…

3D高斯場景分割挑戰近年來，3D Gaussian Splatting（3DGS）成為顯式場景表示的熱門技術，但如何在此架構上達成高效穩定的即時分割，一直是後端效能與前端體驗的雙重挑戰。根據 arXiv:2508.08219v1 研究指出，既有方法在視角一致性、3D空間推理與多物體追蹤上均存在瓶頸，且每幀運算成本高達數百毫秒，難以滿足 AR/VR 和機器人即時回饋需求。Segment Any Gaussians Online核心創新SAGOnline 在架構設計上採用兩大關鍵策略：其一，透過無縫整合 2D 視頻基礎模型（如 Meta AI 2024 年 SAM2 白皮書所述），在每個合成視圖中進行準確的視角一致性遮罩傳播；其二，開發 GPU 加速的 3D 遮罩生成與高斯原始體標籤算法，將不同物體的高斯元件賦予唯一識別碼，實現無損的多物體追蹤。此分離式處理方式同時兼顧模型輕量化與運算效率，適合部署於容器化微服務環境。實測效能與基準對比根據論文中於 NVOS 與 Spin-NeRF 基準測試的實驗結果，SAGOnline 在 NVOS 上達成…

什麼是Audio-Thinker 根據 arXiv:2508.08039v1 中的最新研究，Audio-Thinker 是首個針對大型音訊語言模型（LALMs）設計的強化學習框架，目標在於提升模型在音訊問答場景下的推理能力。傳統 LALMs 多半依賴「黑盒」端到端調教，難以在複雜任務中維持思考一致性與效果。Audio-Thinker 則引入「自適應思考準確度獎勵」（adaptive think accuracy reward）與外部獎勵模型，協助模型動態調整推理策略，並針對正確與錯誤的推理路徑給予差異化回饋，最終在多項基準測試中超越既有方案。 強化學習獎勵設計原理 Audio-Thinker 的核心是雙重獎勵機制：一方面，根據任務複雜度動態調整思考步驟的獎勵門檻，以確保模型於簡單任務不浪費計算資源，於複雜任務則有更深入的推理深度；另一方面，透過外部評估模型（external reward model）衡量整體思考一致性與答案品質。這種設計靈感來源於OpenAI在RLHF（Reinforcement Learning from Human Feedback）中的分層回饋機制（參考 OpenAI 官方部落格），並結合《NeurIPS 2024》最新論文對多階段強化學習收斂速度的實測。實驗結果顯示，Audio-Thinker 在推理正確率上提高近12％，同時推理路徑的冗餘率下降了約30％。 後端架構與效能優化 將 Audio-Thinker 部署於微服務化架構，可透過容器化與 Kubernetes 自動擴縮，確保系統在高併發音訊解析與推理時依然穩定。建議使用…

聯邦學習與手術視覺在臨床影像 AI 應用中，手術視頻分類具有高度隱私與多中心分散特性。傳統集中式訓練需匯集患者數據，面臨合規與隱私風險。聯邦學習（Federated Learning, FL）允許各機構本地訓練模型，並透過安全聚合共享權重或梯度，維護數據主權與個資安全。FedSurg EndoVis 2024 挑戰正是首個專注「手術視覺分類」的 FL 基準考核，旨在評估現有方法在面對不同臨床中心影像多樣性和本地化需求下的表現。根據 arXiv:2510.04772v1 及官方白皮書，FedSurg 採用多中心 Appendix300 視頻數據集，專注闌尾炎（Appendicitis）炎症分期分類，為開拓醫療 AI 泛化與本地化調適策略提供了第一個系統化實驗平台。FedSurg 挑戰整體架構FedSurg EndoVis 2024 設計兩大任務：第一為「泛化任務」，測試模型在未見臨床中心數據上的離線預測能力；第二為「本地微調任務」，允許團隊將預訓練模型於目標中心數據集上進行少量迭代的本地更新。整體流程包含資料分片、安全通訊、聚合與評估。組織者提供初版 Appendix300，包括多中心來源、時間戳記標註與階段性炎症標籤，並制定 F1-score 與 Expected Cost（期望成本）為主要評估指標，同時透過引導式重取樣（bootstrap）與統計檢定保證排名穩定度。核心技術路徑參賽團隊多元策略包括：一．以 Transformer/Vision Transformer 為基礎的 Foundation…

短影片錯假資訊與跨域挑戰短影片平台因為高黏著度與演算法推薦，已成為錯假資訊迅速散播的溫床。然而，現有的多模態錯假資訊偵測模型多半在特定訓練域（source domain）取得亮眼成績，卻難以有效面對新興平台或內容風格的差異（target domain）。根據 arXiv:2507.04061v2 中報告指出，域偏移（domain gap）會使模型的視覺或聲音特徵映射失準，導致偵測準確率明顯下降。針對此一問題，DOCTOR（DOmain generalization via ConsisTency and invariance learning for shORt-video misinformation detection）提出了兩大深度洞見：一是各域可能偏重單一模態（視訊或音訊）；二是跨模態融合時，單一模態中的偏差會被放大，進而損害最終偵測效能。在多模態應用中，實務工程師往往需要在效能與資源消耗間取得平衡；因此，針對跨域挑戰設計的模型，不僅要兼顧演算法泛化能力，更要關注後端運算資源與前端推理延遲。

多任務影像修復挑戰圖像修復在惡劣天氣下，如雨、霧、雪等場景，長期以來都是電腦視覺的難題。傳統方法往往為每種退化類型設計專屬網路模組，導致參數冗餘、維護複雜。根據 arXiv:2508.07878v1（TAP）中指出，目前主流 All-in-One 解法雖然可應對多種退化，卻經常忽略任務間的內在關係，且仍需攜帶大量專屬參數。兩階段訓練與Prompt調優TAP 採用預訓練（pretraining）＋Prompt-tuning 兩階段策略，先透過監督式學習獲取整體修復知識，再以軟性 Prompt 針對特定退化微調。此流程類比於大模型調教，僅需在預訓練模型外新增可訓練的 Prompt 參數，避免重複訓練整個網路，提升開發效率並降低硬體資源消耗。任務感知Prompt強化設計為刻畫任務間既有共性與差異，TAP 對軟性 Prompt 應用低秩分解，分離出 Task-general 與 Task-specific 結構，並加入對比約束（contrastive constraint）以校準 Prompt 間相關性。根據作者釋出的 t-SNE 分佈圖顯示（來源：arXiv:2508.07878v1），此方法能更準確地將不同退化類型的特徵聚類，顯著提升修復品質與穩定性。效能與參數效率評估實驗結果表明，TAP 僅以 2.75M 參數打底，便能在多個惡劣天氣圖像修復任務上超越專屬網路模組方案。根據 NTIRE 2023 比賽公開資料集 Benchmark，TAP 在…

動機與系統架構概覽近年來，整合感測、通訊與控制（ISCC）架構已成為低空無線網路的重要發展方向。根據 arXiv:2508.07799v1，傳統固定天線架構受限於動態干擾與通道衰減，使得資料率與控制品質難以兼顧。本篇文章將從系統架構出發，探討如何利用可移動天線協同佈局與波束賦形策略，提升整體 ISCC 系統的 QoS 與資料吞吐量。QoS 規格與性能挑戰ISCC 系統需同時滿足資料通訊速率、感測精度與即時控制反饋三大 QoS 指標。資料通訊方面，要克服多路徑衰減與動態干擾；感測環境則需取得高解析度的回波資訊；控制層級則要求低延遲與高可靠度（Jitter 

研究背景與動機 近年來，大型語言模型（LLMs）不僅在生成任務中表現亮眼，也被越來越多地應用於密集檢索（dense retrieval）場景。根據 arXiv:2507.03958v2（2025）指出，任務專門化可能影響檢索效能，但目前缺乏系統性比較。本文藉由八款 Qwen2.5 7B LLMs 的零樣本與監督式檢索實驗，深度剖析不同專業化對後端檢索效果的影響。 實驗設計與評測基準 我們挑選了包含基礎版（base）、指令調校（instruction-tuned）、程式碼/數學專用（code-specialized、math-specialized）、長推理（long reasoning）與視覺語言（vision-language）等八款 Qwen2.5 7B 模型。在零樣本階段，文字檢索使用 BEIR 基準（Thakur et al., 2021），程式碼檢索使用 CoIR 基準（Qi et al., 2023）；監督式階段則於 MS MARCO（Nguyen et al., 2016）資料集上微調並評估。 無監督檢索成效分析…