Zero-Shot NAS 與加權響應相關性(WRCor):加速模型自動化設計

背景:NAS 與訓練成本挑戰

Neural Architecture Search(NAS)是自動化設計神經網路架構的利器,卻往往需訓練大量候選模型,消耗大量 GPU 時間與人力成本。根據 arXiv:2507.08841v2(2025)指出,傳統 NAS 在 ImageNet-1k 上若要搜尋到優秀結構,往往需數百到上千 GPU 小時。

零訓練代理:從慣例到創新

為減少訓練開銷,研究社群提出多種零訓練(zero-shot)代理指標,如 SynFlow、Zen-Score、GradNorm 等。這些代理透過權重初始狀態下的結構特性,估算潛在表現。但根據《NeurIPS 2023 Benchmark》報告,現有代理在效能穩定性與跨搜尋空間泛化上仍有限。

WRCor 核心原理與計算方式

Weighted Response Correlation(WRCor)由昆京等人提出,透過多組輸入樣本在中間層的響應向量,計算其 Pearson 相關係數矩陣 R。再依據層間重要性權重 w,得出最終代理分數:
proxy=∑_ℓ w_ℓ⋅∑_{i此設計同時衡量模型的可表達性(expressivity)與泛化能力(generalizability)。根據 arXiv:2507.08841v2,WRCor 在 ImageNet-derived Proxy 評估中比 SynFlow 提速 5 倍以上。

實驗比較:效率與準確性優勢

在 NASBench-201 與 MobileNetV3 空間的無訓練代理比較中,WRCor 的 Spearman 排序相關(ρ)平均提升至 0.72,而傳統 SynFlow 及 Zen-Score 僅約 0.45–0.55。此外,透過多代理投票機制(voting proxies),可進一步降低單一代理失靈風險。

佈署建議:容器化與 DevOps 整合

為將 WRCor 整合至 MLOps 流程,可考慮以下步驟:
1. 建置 Docker 映像:安裝 PyTorch 與必要依賴。
2. 撰寫 FastAPI 服務:接受模型結構描述,回傳 WRCor 得分。
3. CI/CD 流程:在程式碼提交後,自動觸發代理評估,並輸出報告至 GitLab Artifacts 或 AWS S3。

實戰守則:企業採用要點

1. 搜尋空間設計:依業務場景挑選 CNN、Transformer 或 MLP-like 架構。
2. 硬體預算:建議以單機 4 卡 GPU 做初步篩選,再使用少量訓練精細調優。
3. 超參數穩定性:對 WRCor 中 w_ℓ 權重進行網格搜尋,可提升代理穩定性。

未來展望:生成式 AI 與 NAS 結合

結合大型語言模型(LLM)生成搜尋空間描述,並用 WRCor 驗證結構優劣,能使 NAS 流程更具自動化與智慧化。此外,LLM 可針對「業務需求→架構要素」撰寫搜尋策略,進一步降低人為設定門檻。

所有實驗程式碼與部署範例請參考原始碼庫:ZSNAS-WRCor。歡迎工程師同好下載並在自有 MLOps 平台中驗證。

邀請連結:https://www.okx.com/join?channelId=42974376