AI SECURITY CASES × FRAMEWORKS
NISTAML.023 · 後門投毒
閱讀 NIST Adversarial ML (2025) 中 NISTAML.023「後門投毒」相關的 2 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明
攻擊者在訓練期間對模型投毒,使帶有特定圖樣或觸發條件的輸入,產生攻擊者指定的行為。模型對一般輸入可能仍然準確,只有觸發條件出現時才會判錯。觸發方式可存在於影像、音訊、文字及其他資料中,部分後門也可能在後續微調後繼續保留。
框架官方來源 ↗ · 開啟互動探索 ↗
Exercise · · 實務關聯
Lazarus 研究探討如何只修改開放權重模型裡的少量休眠神經元,就能在模型中暗藏後門(例如論文測試時以單純印出 LAZARUS_OK 標記的 printf LAZARUS_OK 命令當目標;不過模型輸出這段文字和在真實主機上真的執行系統命令,是兩件必須分開解讀的事)。整條攻擊路徑成立的關鍵前提,在於攻擊者必須先能掌控之後會被防守方採納的模型檢查點(checkpoint,保存模型權重與狀態的成品)。研究結果支持加強模型來源審查與工具隔離,同時也提醒讀者必須把論文裡不同類型的預測實驗與實際執行實驗分開看待。
關聯理由: 模型保留一般行為,但植入的觸發條件會啟動攻擊者指定的輸出及工具行為。 共同機制是依觸發條件啟動的模型後門;Lazarus 直接編輯模型參數,不是對已揭露訓練資料集投毒。
只有主要實驗實際執行的無害標記路徑支持執行主張;動作格式預測維持較窄的測量範圍。
AIA · 閱讀完整案例 ↗
Exercise ·
Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。
關聯理由: 投毒訓練讓模型學會依觸發條件執行工具行為,同時保留一般功能。
資料集與模型檢查點實驗分開呈現;工具呼叫被接受、實際執行及正式環境入侵不能混為一談。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗