AI SECURITY CASES × FRAMEWORKS
NISTAML.013 · 資料投毒
閱讀 NIST Adversarial ML (2025) 中 NISTAML.013「資料投毒」相關的 5 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明
攻擊者污染訓練所用的資料,使訓練出的模型偏離預期行為。在預測式 AI 的可用性討論中,NIST 著重於讓整體效能下降的投毒;生成式 AI 的分類也涵蓋指定行為遭改變、後門等完整性影響。攻擊透過預訓練或後續調校資料影響模型,不只是單次推論請求中的惡意輸入。
框架官方來源 ↗ · 開啟互動探索 ↗
Exercise ·
Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。
關聯理由: 資料集路徑改變訓練軌跡,讓產出的模型發出攻擊者指定的呼叫。
資料集與模型檢查點實驗分開呈現;工具呼叫被接受、實際執行及正式環境入侵不能混為一談。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research · · 實務關聯
近年許多大規模資料集的發布方式,是給出一份網址清單,每個網址指向一筆資料。研究人員指出,這類資料集很多都擋不住所謂的「分歧視角(split-view)」投毒攻擊。這個攻擊利用的是一個時間差:當初蒐集資料集時看到的內容,和使用者後來下載來訓練時看到的內容,可能已經不一樣。研究人員找出那些曾經託管過資料集內容、但如今已到期而且可以買下來的網域,因此有辦法把資料集的一部分換成投毒後的資料。他們示範了在 10 個熱門的網路規模資料集中,可買到的網域數量都足以成功發動投毒攻擊。
關聯理由: 來源支持訓練輸入遭污染,以及特定的完整性影響;實務交集是訓練資料投毒。這個預測模型案例,沒有證實模型整體準確率下降、可用性中斷,或採用 LLM 部署。
重新購買資料集 URL 的過期網域,改變之後下載的訓練資料。
SecureFlow · 閱讀完整案例 ↗
Incident ·
微軟推出的 Tay 是一個 Twitter 聊天機器人,目的是和使用者互動、帶來娛樂。過去的聊天機器人多半用預先寫好的腳本回覆,Tay 則具備機器學習能力,因此會直接受到對話內容的影響。 一場有組織的攻擊鼓動惡意使用者對 Tay 發出辱罵與攻擊性言論,最後導致 Tay 也對其他使用者產生類似的煽動性內容。 微軟在上線 24 小時內就把 Tay 下線,並公開道歉,說明從這次失敗中學到的教訓。
關聯理由: Tay 的學習受大量惡意互動影響並產生冒犯輸出;不直接套用 LLM 年代分類。 此處對應「資料投毒」:攻擊者污染訓練所用的資料,使訓練出的模型偏離預期行為。
Tay 的學習受大量惡意互動影響並產生冒犯輸出;不直接套用 LLM 年代分類。
SecureFlow · 閱讀完整案例 ↗
Incident · · 實務關聯
McAfee 進階威脅研究團隊注意到,某個勒索軟體家族的回報數量出現不尋常的增加。調查後發現,該家族的許多樣本是在很短的時間內,透過一個熱門的病毒分享平台上傳的。進一步分析顯示,以字串相似度來看,這些樣本其實完全等價;以程式碼相似度來看,彼此的相似度介於 98% 到 74% 之間。更值得注意的是,所有樣本的編譯時間都一模一樣。研究人員繼續追查後發現,有人使用了 metame 這個變形程式碼操作工具,把原始檔案改寫成多個變體。這些變體不一定都能執行,但仍會被歸類為同一個勒索軟體家族。
關聯理由: 來源支持訓練輸入遭污染,以及特定的完整性影響;實務交集是訓練資料投毒。這個預測模型案例,沒有證實模型整體準確率下降、可用性中斷,或採用 LLM 部署。 大量變形樣本進入病毒共享平台,影響樣本分布;不宣稱每個變種可執行。
大量變形樣本進入病毒共享平台,影響樣本分布;不宣稱每個變種可執行。
SecureFlow · 閱讀完整案例 ↗
Research ·
這篇研究要講的事很反直覺,但不難懂:學生模型學到的特質,未必寫在資料內容裡,而可能藏在「這批資料是由哪個模型產生的」。研究者先讓教師模型帶著某個偏好或對齊偏差 (misalignment, 模型行為偏離預期目標或安全要求的情況),再叫它只輸出看起來無害的數字、程式碼或思維鏈;學生模型拿這些資料微調後,還是會把同樣的偏好甚至偏差學過去。 對防禦方來說,關鍵不只是再多加幾層內容過濾,而是把生成模型的來源、基礎模型和訓練脈絡,當成真正的供應鏈風險來管。
關聯理由: 受控研究中,教師模型產生的合成訓練資料傳遞隱藏偏好。 此處對應「資料投毒」:攻擊者污染訓練所用的資料,使訓練出的模型偏離預期行為。
受控研究中,教師模型產生的合成訓練資料傳遞隱藏偏好。
AIA · 閱讀完整案例 ↗