互動探索 / 分類目錄 AI SECURITY CASES × FRAMEWORKS
NISTAML.051 · 模型投毒(供應鏈) 閱讀 NIST Adversarial ML (2025) 中 NISTAML.051「模型投毒(供應鏈)」相關的 4 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明 攻擊者在下游組織採用模型或模型元件之前,就先對其進行惡意修改。預訓練模型可能帶有針對特定目標的行為或後門,而且部分修改能在客戶微調或追加安全訓練後繼續保留。這項供應鏈風險來自受信任模型相依項所帶入的行為,因此只檢查一般可執行惡意程式,無法涵蓋所有模型投毒形式。
框架官方來源 ↗ · 開啟互動探索 ↗
Exercise · 2026-11-16
Lazarus 研究探討如何只修改開放權重模型裡的少量休眠神經元,就能在模型中暗藏後門(例如論文測試時以單純印出 LAZARUS_OK 標記的 printf LAZARUS_OK 命令當目標;不過模型輸出這段文字和在真實主機上真的執行系統命令,是兩件必須分開解讀的事)。整條攻擊路徑成立的關鍵前提,在於攻擊者必須先能掌控之後會被防守方採納的模型檢查點(checkpoint,保存模型權重與狀態的成品)。研究結果支持加強模型來源審查與工具隔離,同時也提醒讀者必須把論文裡不同類型的預測實驗與實際執行實驗分開看待。
關聯理由: 下游採用者可能收到已包含後門的預訓練檢查點。
只有主要實驗實際執行的無害標記路徑支持執行主張;動作格式預測維持較窄的測量範圍。
AIA · 閱讀完整案例 ↗
Exercise · 2026-11-16
Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。
關聯理由: 下游使用者採用攻擊者準備的檢查點,就可能繼承後門。
資料集與模型檢查點實驗分開呈現;工具呼叫被接受、實際執行及正式環境入侵不能混為一談。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-10-30 · 實務關聯
趨勢科技的研究人員利用服務索引平台與網路搜尋工具,找出超過 8,000 個設定不當、暴露在網際網路上的私有容器登錄庫。其中約有 70% 的登錄庫,存取控制也過於寬鬆,甚至允許寫入。在分析過程中,研究人員在這些開放的登錄庫裡,找到超過 1,000 個內嵌在私有容器映像檔中的 AI 模型,而且不需要身分驗證就能拉下來。 這種暴露會讓攻擊者可以下載、檢視並修改容器內容,包括機敏的 AI 模型檔案。這等於把有價值的智慧財產攤在攻擊者面前,讓它可能被竊走。攻擊者也可以把被動過手腳的映像檔推回登錄庫,形成供應鏈攻擊,破壞正式系統所使用 AI 模型的完整性。
關聯理由: 調查確認了登錄庫暴露;另有受控模擬示範模型參數修改與重新封裝。未證實公開部署已下載被竄改的映像。 來源記錄了外部供應或被替換的模型檔、模型元件,如何讓使用者採用其中的惡意程式碼或遭修改的模型行為。供應鏈邊界在於採用模型檔;各案例的載入程式碼執行或參數編輯機制,仍分開判斷。 模型參數修改與重新封裝,屬於受控模擬。登錄庫暴露調查沒有證實正式環境曾下載惡意映像,也沒有證實公開模型遭惡意投毒。
調查確認了登錄庫暴露;另有受控模擬示範模型參數修改與重新封裝。未證實公開部署已下載被竄改的映像。
SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-08-02
Mithril Security 的研究人員示範了如何對一個開源的預訓練大型語言模型(LLM)投毒,讓它回答一項錯誤的事實。接著他們把這個遭投毒的模型上傳回 HuggingFace,也就是目前最大的公開模型中心,藉此凸顯 LLM 供應鏈的脆弱之處。使用者原本可能下載到這個遭投毒的模型,接收並散播被汙染的資料與錯誤資訊,造成各種潛在危害。
關聯理由: PoisonGPT 直接修改模型,再分發會回答錯誤事實的成品。 此處對應「模型投毒(供應鏈)」:攻擊者在下游組織採用模型或模型元件之前,就先對其進行惡意修改。
PoisonGPT 直接修改模型,再分發會回答錯誤事實的成品。
SecureFlow · 閱讀完整案例 ↗