Microsoft Security Research and Microsoft AI Red Team
aidefend-sf0090
Trained to Betray:投毒訓練資料與模型如何誘使程式開發 Agent 執行惡意工具呼叫
- AI 供應鏈
- 自主式 agent
- 模型投毒與完整性破壞
Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。
對應的威脅技術
AML.T0020Training Data PoisoningAML.T0018.000Poison AI Model