ML07:2023 · 移轉學習攻擊

閱讀 OWASP ML Top 10 (2023) 中 ML07:2023「移轉學習攻擊」相關的 1 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者利用遷移學習,讓模型在原本任務中學到的惡意或錯誤行為,隨著模型被調整用於另一項任務而傳入目標系統。遭竄改的預訓練模型或惡意訓練資料,都可能成為這類行為的來源。例如,下游身分驗證系統採用攻擊者操控的人臉辨識模型後,可能把攻擊者誤認為合法使用者。

框架官方來源 ↗ · 開啟互動探索 ↗

Research ·

Subliminal Learning:行為特質能透過與語意無關的蒸餾資料潛移傳遞

這篇研究要講的事很反直覺,但不難懂:學生模型學到的特質,未必寫在資料內容裡,而可能藏在「這批資料是由哪個模型產生的」。研究者先讓教師模型帶著某個偏好或對齊偏差 (misalignment, 模型行為偏離預期目標或安全要求的情況),再叫它只輸出看起來無害的數字、程式碼或思維鏈;學生模型拿這些資料微調後,還是會把同樣的偏好甚至偏差學過去。 對防禦方來說,關鍵不只是再多加幾層內容過濾,而是把生成模型的來源、基礎模型和訓練脈絡,當成真正的供應鏈風險來管。

關聯理由: 受控研究中,教師模型產生的合成訓練資料傳遞隱藏偏好。 此處對應「移轉學習攻擊」:攻擊者利用遷移學習,讓模型在原本任務中學到的惡意或錯誤行為,隨著模型被調整用於另一項任務而傳入目標系統。

受控研究中,教師模型產生的合成訓練資料傳遞隱藏偏好。

AIA · 閱讀完整案例 ↗