AI SECURITY CASES × FRAMEWORKS
NISTAML.024 · 目標式投毒
閱讀 NIST Adversarial ML (2025) 中 NISTAML.024「目標式投毒」相關的 3 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明
攻擊者對訓練資料投毒,讓模型對指定樣本或特定子群體改變預測結果。這與追求整體效能下降的可用性攻擊不同,影響可能集中在少數目標上。竄改標籤是一種做法,但即使攻擊者無法修改訓練標籤,也可能透過保留正確標籤的樣本達成定向投毒。
框架官方來源 ↗ · 開啟互動探索 ↗
Exercise ·
Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。
關聯理由: 資料投毒針對特定任務或上下文條件及不安全呼叫,不是讓整體模型無法使用。
資料集與模型檢查點實驗分開呈現;工具呼叫被接受、實際執行及正式環境入侵不能混為一談。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research · · 實務關聯
近年許多大規模資料集的發布方式,是給出一份網址清單,每個網址指向一筆資料。研究人員指出,這類資料集很多都擋不住所謂的「分歧視角(split-view)」投毒攻擊。這個攻擊利用的是一個時間差:當初蒐集資料集時看到的內容,和使用者後來下載來訓練時看到的內容,可能已經不一樣。研究人員找出那些曾經託管過資料集內容、但如今已到期而且可以買下來的網域,因此有辦法把資料集的一部分換成投毒後的資料。他們示範了在 10 個熱門的網路規模資料集中,可買到的網域數量都足以成功發動投毒攻擊。
關聯理由: CLIP 實驗在本機替換指定訓練影像,攻擊者無法更改索引中的文字說明;重新訓練後,指定目標影像的預測結果發生改變。這支持標記不受攻擊者控制的投毒,以及針對特定目標的訓練資料投毒;不表示研究植入了觸發式後門,也不表示公開下載曾遭惡意投毒。 未被修改的監督訊號是對比學習中的影像與文字配對,而非一般分類資料的標記欄位。已驗證的影響限於本機重新訓練的 CLIP 模型,不是公開部署遭入侵。
重新購買資料集 URL 的過期網域,改變之後下載的訓練資料。
SecureFlow · 閱讀完整案例 ↗
Incident · · 實務關聯
McAfee 進階威脅研究團隊注意到,某個勒索軟體家族的回報數量出現不尋常的增加。調查後發現,該家族的許多樣本是在很短的時間內,透過一個熱門的病毒分享平台上傳的。進一步分析顯示,以字串相似度來看,這些樣本其實完全等價;以程式碼相似度來看,彼此的相似度介於 98% 到 74% 之間。更值得注意的是,所有樣本的編譯時間都一模一樣。研究人員繼續追查後發現,有人使用了 metame 這個變形程式碼操作工具,把原始檔案改寫成多個變體。這些變體不一定都能執行,但仍會被歸類為同一個勒索軟體家族。
關聯理由: 大量變形樣本進入病毒共享平台,影響樣本分布;不宣稱每個變種可執行。 操作者提交經過變形的勒索軟體二進位檔,由廠商進行家族分類;這些變種污染了用來辨識該家族的資料集。來源記錄的是控制輸入樣本,而非直接翻轉既有訓練標記,且目標集中在特定家族的分類。 原始報告與 NIST 的真實事件討論,支持由外部分類機制產生標記、針對特定家族提交投毒樣本的路徑;沒有提供逐筆標記稽核、最佳化的 clean-label 實驗,或重新訓練後的準確率量測。
大量變形樣本進入病毒共享平台,影響樣本分布;不宣稱每個變種可執行。
SecureFlow · 閱讀完整案例 ↗