AIDEFEND in Action AIA-0133 演練與測試

Trained to Betray:投毒訓練資料與模型如何誘使程式開發 Agent 執行惡意工具呼叫

Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。

Model PoisoningMalicious ModelsModel ProvenanceRuntime IsolationAgentic AI
14 項對應的 AIDEFEND 防禦手法
來源: Trained to betray: How post-training supply chain attacks hijack coding agents 
作者: Microsoft Security Research and Microsoft AI Red Team
原文發布: 2026年11月12日

威脅分析

  • 兩個不同的供應鏈切入點:在第一項研究中,少量遭投毒的 Agent 訓練紀錄混進微調資料,讓使用者的模型學會挑選不安全的執行工具;Kerkoporta 研究則是攻擊者直接掌控模型訓練過程,以下游開發者採用這組權重作為供應鏈前提。這兩項實驗不應混在一起寫成同一波已確認的真實攻擊行動。
  • 好用的正常能力反而掩護了後門:Kerkoporta 先用監督式微調(SFT)埋入遇到特定條件就會觸發的結構化呼叫,再用強化學習(RL)恢復正常解題與寫程式的能力,而後門並未隨之消失。由於觸發線索藏在平常的任務脈絡裡,送出的工具呼叫在語法與結構上又完全合法,執行框架很容易照單全收。
  • 實驗結果必須放在各自測量範圍內解讀:模擬框架的資料集投毒實驗,測得在已見過介面的不安全工具呼叫率約為 78%,兩個未見過介面則分別是 11% 與 0%;另一邊的模型研究則另外量測跨儲存庫與跨執行框架的轉移效果。拿刻意投毒的模型權重接進某個框架,並不能證明該框架的預設模型設定有安全漏洞。相關第一手資料:Kerkoporta 論文。

適用的 14 項 AIDEFEND 防禦手法

AID-H-003.003
External Dataset Supply-Chain Provenance Admission
高
訓練管理者只應從核准發布者取得具有不可變檔案清單的外部互動資料集,並在訓練讀取前逐一驗證暫存檔案。這樣能擋掉未授權替換或來路不明的資料來源;不過可信發布者的簽章只能證明檔案沒被掉包,還不能證明每一筆示範內容都安全無害。
AID-H-003.002
CI/CD Release Gating, Model Artifact Signing & Secure Distribution
高
自訂權重進到 Agent 執行環境之前,必須具備核准的模型發布身分、對應成品雜湊值以及簽章發布紀錄,且上線核可條件必須包含獨立的行為安全審查,不能只看攻擊者或外部發布方自己的簽章與跑分宣稱。部署後還要核對每個工作程序真正載入的成品雜湊。
AID-H-017.002
Least-Privilege Tool Architecture
高
只賦予 Agent 該任務真正需要的工具、檔案根目錄與後端憑證;只要任務允許,優先提供邊界明確的儲存庫操作工具,而不是不受限制的 shell。這些限制必須在工具派送器與作業系統/後端權限兩層強制落實,包含直接呼叫路徑;光是把 shell 工具改名或從提示詞裡隱藏,擋不住已經在訓練時學會尋找替代執行管道的模型。
AID-I-001.002
MicroVM & Low-Level Sandboxing
高
不可信模型產生的工具操作,都應放進經過驗證的微型虛擬機(microVM)或受支援的使用者空間核心沙盒裡執行,只掛載當次任務必需的儲存庫快照,絕不放入正式憑證或主機 socket。確認環境時要檢查實際運作的執行時期,不能只看設定檔寫的類別名稱;另外由於沙盒內工作目錄仍可能被破壞,來源端一定要保留可還原的乾淨版本。
AID-I-001.004
Sandbox Network Egress Restrictions
高
在模型控制範圍之外,預設封鎖工具執行環境的所有對外網路連線,只放行任務真正必需的目的位址,並直接從實際執行環境測試直接 IP、替代工具與代理連線。這能大幅限縮下載遠端惡意腳本與外傳資料的風險,但沙盒本機刪除檔案或透過已允許服務造成的錯誤變更,仍須另行控管。
AID-E-003.001
Compromised Model Quarantine & Recovery Routing
高
一旦確認某個模型存在後門,就在所有模型登錄庫與載入檢查路徑封鎖這個成品雜湊,並保留原始檔案供事後鑑識。把所有可變別名解析回實體雜湊,確認服務重啟或新啟動的工作程序都再也載入不到它;同時記得登錄庫隔離不會卸載已經載入記憶體的模型,執行中的工作階段必須另行終止。
AID-R-001.001
Versioned Model Rollback & Restoration
高
從不可變備份還原事件前經獨立核准的乾淨模型,並搭配對應版本的服務與執行框架設定,切換流量前核對實際載入的模型雜湊並重測正常任務與本案觸發情境。別以為把同一份投毒成品換個標籤,或再跑一次強化學習把分數拉高,就能當成已經復原。
AID-E-003.002
Manifest-Bound Poisoned Dataset & Graph Eviction
高
分析人員確認出遭投毒的互動紀錄後,資料集管理者應簽署一份綁定不可變原始資料與候選問題報告的移除清單,列出所有要剔除的紀錄 ID 來產出新資料集,並由獨立驗證者核對確實只移除了該批紀錄;原始資料則保留供鑑識追查,禁止再次用於訓練。清除資料能避免未來的訓練再踩坑,卻洗不掉舊模型已經學進權重裡的後門。
AID-H-002.001
Training, Fine-Tuning & Evaluation Data Sanitization
中
建置 Agent 互動訓練資料時,應一併保存經過獨立驗證的觀察來源、內容安全檢查結果與適用的評分規則,先把來源不明或被標記可疑的紀錄隔離,再打包成訓練快照。審查時要核對每個助理操作是否符合使用者請求;語法完全正確的工具呼叫,不代表該筆訓練示範安全。注意這類過濾依賴上游內容檢查結果,本身無法單獨挖出隱藏的後門觸發條件。
AID-M-002.001
Data & Artifact Versioning
中
將這批核准採用的資料集版本,精確綁定到每一次訓練任務與產出的模型成品上,再由另一個獨立身分讀回沿革紀錄並到乾淨工作目錄還原驗證。日後一旦發現其中某些紀錄遭到投毒,就能立刻鎖定需要重新審查的衍生模型,不必把無關的模型全部當成受污染。
AID-H-007.005
Fine-Tuning Safety Alignment Preservation & Erosion Detection
中
拿候選的微調模型與可信基準模型並排比較,使用未出現在訓練集裡的保留任務、埋有觸發線索的測試儲存庫、同義改寫請求,以及正式環境實際使用的執行框架與工具規格。把正常任務表現與不安全工具呼叫分開記錄,只要觸及禁止條件就不准上線;測試必須走進真實工具提案與核准的沙盒效果,光看一般能力分數絕對無法排除後門。
AID-H-012.003
RL Behavioral Promotion Validation in Isolated Environments
中
模型跑完強化學習階段後,必須放進與部署環境等同的隔離執行框架重跑完整行為測試,把實際動作、副作用、獎勵與結果綁定到這次強化學習後產出的模型雜湊;就算程式開發得分大幅提升,只要出現禁止操作就必須攔下上線,不能直接沿用強化學習前的安全檢查結論。
AID-D-010
AI Goal Integrity Monitoring & Deviation Detection
中
把 Agent 送出的每個工具提案拿來對照經獨立核准的原始任務,標記出與任務無關的遠端執行、破壞性修改或資料揭露。校準時要同時涵蓋正常開發流程與後門觸發案例,且絕不採信模型自己生成的合理解釋;同時記得偵測器只負責產出警示發現,真正要攔下操作還需要搭配獨立的執行檢查或應變機制。
AID-R-001.002
Model Retraining for Remediation
中
如果手邊沒有任何可信的舊版模型可以還原,且團隊自己掌握訓練流程,可以改從另一個可信基礎模型搭配驗證乾淨的資料重新訓練,把清理後的紀錄清單、訓練程式碼、初始化政策與產出模型綁進不可變清單,並獨立確認訓練工作真正讀取了哪些內容;注意這條路只適用於能實際拿到並驗證模型成品的自管流程(例如自建 Qwen 訓練管線),單純在代管平台上重送一次微調工作並不能滿足成品驗證條件。新模型上線服務前,必須交由訓練與部署團隊之外的獨立驗證者,拿這份產出模型成品跑完所有宣告的正常任務與本案觸發測試,使用實際的工具規格與無害執行測試資料,分別量測格式合法的不安全呼叫與實際系統效果,並把門檻、樣本編號、驗證程式版本與觀察期間都綁定在同一個模型雜湊上;只要覆蓋不完整或後門行為還在,一律不准上線。

身為資安防禦者,我們應該這麼做

  • 把「供應商與來源審查」和「資料集內容檢查」分開處理:保留完整從訓練資料到產出模型的沿革紀錄,逐筆比對訓練範例裡的助理動作是否真的符合使用者請求,別只因為 JSON 格式合法或發布者名字很熟就直接信任。
  • 對自訂權重進行安全評估時,一定要放進正式環境真正會用的執行框架與工具規格,搭配未參與訓練的題目與各種觸發變體來測;尤其在跑完強化學習後必須重測一遍,因為解題能力回升絕不代表安全性也已經恢復。
  • 在模型之外建立由外部系統強制執行的防線:限制工具實際權限、嚴格落實沙盒與對外連線管制、監控與當下任務無關的操作,並提前準備好依雜湊隔離可疑模型及從已知乾淨版本還原的機制。就算觸發詞看起來完全無害,這些外部防線依然擋得住。

結論

針對後訓練階段的供應鏈後門,AIDEFEND  把防禦責任清楚切分在整條生命週期上:資料來源與內容審查、可追溯的訓練沿革、模型上線前核可、後訓練行為回歸測試、工具權限隔離、異常動作偵測、成品隔離與可信還原。每一道措施都在守不同的邊界,沒有哪一項能單獨保證所有未知後門都不存在。

最後更新: