AML.T0020 · Training Data Poisoning

閱讀 MITRE ATLAS 中 AML.T0020「Training Data Poisoning」相關的 5 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

Adversaries may manipulate data used for training or fine-tuning an AI model to influence the resulting model's behavior. Adversaries may add, remove, or modify data samples; alter labels or annotations; or manipulate feedback and data-collection processes. Training data poisoning may cause targeted errors, introduce biased or unsafe behavior, degrade model performance, or embed backdoors activated by specific inputs. The resulting behavior may persist in the trained model after the poisoned data is no longer accessible. Adversaries may poison data directly after gaining access to a training pipeline, or poisoned datasets may be introduced through [AI Supply Chain Compromise](/techniques/AML.T0010).

框架官方來源 ↗ · 開啟互動探索 ↗

Exercise ·

Trained to Betray:投毒訓練資料與模型如何誘使程式開發 Agent 執行惡意工具呼叫

Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Research ·

SkillJack:遭投毒的代理程式經驗,被提煉成暗藏後門的持久技能

SkillJack 論文評估 SkillX 與 Anything2Skill 這兩套 skill 產生流程工具;它們會讀取 agent 過去執行任務時留下的步驟紀錄(經驗軌跡),再把這些紀錄整理成之後可以重複使用的 skill。在以單一 DeepSeek-v4-flash API 進行的 AppWorld 受控實驗中,研究人員發現:預先被植入惡意內容的執行紀錄,在轉換提煉成技能後,惡意行為依然殘留,且能成功避開論文所評估的路由層級(routing-level)偵測機制;即便事後刪除原始紀錄,該惡意技能依然能持續運作。需注意的是,這屬於受控環境下的研究成果,並非真實營運中的技能登錄庫(skill registry)或外部服務已被實際入侵。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

網路規模資料集投毒:分歧視角攻擊

近年許多大規模資料集的發布方式,是給出一份網址清單,每個網址指向一筆資料。研究人員指出,這類資料集很多都擋不住所謂的「分歧視角(split-view)」投毒攻擊。這個攻擊利用的是一個時間差:當初蒐集資料集時看到的內容,和使用者後來下載來訓練時看到的內容,可能已經不一樣。研究人員找出那些曾經託管過資料集內容、但如今已到期而且可以買下來的網域,因此有辦法把資料集的一部分換成投毒後的資料。他們示範了在 10 個熱門的網路規模資料集中,可買到的網域數量都足以成功發動投毒攻擊。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Incident ·

Tay 遭資料投毒

微軟推出的 Tay 是一個 Twitter 聊天機器人,目的是和使用者互動、帶來娛樂。過去的聊天機器人多半用預先寫好的腳本回覆,Tay 則具備機器學習能力,因此會直接受到對話內容的影響。 一場有組織的攻擊鼓動惡意使用者對 Tay 發出辱罵與攻擊性言論,最後導致 Tay 也對其他使用者產生類似的煽動性內容。 微軟在上線 24 小時內就把 Tay 下線,並公開道歉,說明從這次失敗中學到的教訓。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Incident ·

VirusTotal 遭投毒

McAfee 進階威脅研究團隊注意到,某個勒索軟體家族的回報數量出現不尋常的增加。調查後發現,該家族的許多樣本是在很短的時間內,透過一個熱門的病毒分享平台上傳的。進一步分析顯示,以字串相似度來看,這些樣本其實完全等價;以程式碼相似度來看,彼此的相似度介於 98% 到 74% 之間。更值得注意的是,所有樣本的編譯時間都一模一樣。研究人員繼續追查後發現,有人使用了 metame 這個變形程式碼操作工具,把原始檔案改寫成多個變體。這些變體不一定都能執行,但仍會被歸類為同一個勒索軟體家族。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗