AI SECURITY CASES × FRAMEWORKS
NISTAML.037 · 訓練資料攻擊
閱讀 NIST Adversarial ML (2025) 中 NISTAML.037「訓練資料攻擊」相關的 2 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明
攻擊者在生成式模型的預訓練或微調階段,利用訓練所用的資料或模型元件進行攻擊。大規模公開資料集讓攻擊者有機會混入投毒樣本,委外訓練與第三方模型也可能帶入模型投毒。重點在於惡意影響於訓練期間進入模型,再隨模型傳到下游應用,而不只是部署後透過聊天介面發動攻擊。
框架官方來源 ↗ · 開啟互動探索 ↗
Exercise ·
Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。
關聯理由: 攻擊發生於後訓練流程,並把影響帶入後續程式開發 agent 部署。
資料集與模型檢查點實驗分開呈現;工具呼叫被接受、實際執行及正式環境入侵不能混為一談。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Research ·
這篇研究要講的事很反直覺,但不難懂:學生模型學到的特質,未必寫在資料內容裡,而可能藏在「這批資料是由哪個模型產生的」。研究者先讓教師模型帶著某個偏好或對齊偏差 (misalignment, 模型行為偏離預期目標或安全要求的情況),再叫它只輸出看起來無害的數字、程式碼或思維鏈;學生模型拿這些資料微調後,還是會把同樣的偏好甚至偏差學過去。 對防禦方來說,關鍵不只是再多加幾層內容過濾,而是把生成模型的來源、基礎模型和訓練脈絡,當成真正的供應鏈風險來管。
關聯理由: 受控研究中,教師模型產生的合成訓練資料傳遞隱藏偏好。 此處對應「訓練資料攻擊」:攻擊者在生成式模型的預訓練或微調階段,利用訓練所用的資料或模型元件進行攻擊。
受控研究中,教師模型產生的合成訓練資料傳遞隱藏偏好。
AIA · 閱讀完整案例 ↗