什麼是零樣本學習與挑戰
零樣本學習(Zero-Shot Learning, ZSL)旨在於未見過的類別上進行分類,透過視覺與語義之映射將已見類別的知識轉移到未見類別。然而,手動定義的語義原型(例如屬性向量)往往存在兩大干擾:實例級失配與類別級不精確。根據arXiv:2508.07771v1,這兩項因素顯著削弱了映射模型於未見類別的泛化能力。
Prototype-Guided Curriculum Learning 架構概覽
為解決上述挑戰,作者提出Prototype-Guided Curriculum Learning框架(CLZSL),包含Prototype-Guided Curriculum Learning(PCL)模組與Prototype Update(PUP)模組。前者以課程式學習策略,優先利用高相似度樣本進行訓練;後者則根據模型映射結果,動態調整類別原型,以減少手動標註的誤差。
PCL 模組:緩解實例級失配
PCL模組運用餘弦相似度作為篩選依據,將樣本依照其視覺映射與原型的相似度分批進行訓練。最初階段僅納入相似度最高的子集,以降低由遮蔽、角度與標註偏差造成的實例級失配影響。隨著課程進度,模型逐步接觸相似度較低的樣本,實現平滑過渡與映射精度提升。此方法借鑑了Curriculum Learning在多領域的最佳實踐(Bengio et al., 2009)。
PUP 模組:動態更新類別原型
類別級原型的不精確源自於屬性向量與類別語義的脫節。PUP模組則透過聚合模型在訓練過程中生成的視覺映射向量,採用移動平均或自適應更新策略,對原型進行迭代調整。如此一來,原型能更貼近真實樣本分佈,減少手動定義誤差對最終分類器的負面影響。
實驗驗證與效能分析
作者於AWA2、SUN、CUB三大基準數據集進行對比實驗。根據論文報告,CLZSL在AWA2數據集上較基線Embedding方法提升約3.1%,在SUN與CUB上分別提升2.4%與3.8%。實驗結果同時顯示,PCL與PUP兩模組各自貢獻均超過1%,且聯合使用帶來的效能增益優於單獨應用。
實務應用與未來方向
在工業場景中,CLZSL可應用於新商品分類、異常檢測及少樣本學習等任務。未來研究可結合對比學習、圖網路或生成模型,進一步強化原型學習的穩定性與多樣性。此外,探索多模態語義(如自然語言描述)與視覺特徵的協同更新,也是潛在發展方向。