AML.T0115.001 · Models

閱讀 MITRE ATLAS 中 AML.T0115.001「Models」相關的 5 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

Adversaries may publish poisoned AI models through model registries, code repositories, or other model distribution channels. The model may be newly created or a modified variant of a legitimate model and may contain manipulated weights, configurations, architecture, serialized code, or other components that produce malicious behavior or execute malicious code. Victims may subsequently download and integrate the model through [AI Supply Chain Compromise](/techniques/AML.T0010).

框架官方來源 ↗ · 開啟互動探索 ↗

Validated Research ·

Hugging Face 上的組織身分混淆

資安研究人員 threlfall_hax(https://5stars217.github.io/)在公開模型儲存平台 Hugging Face 上,建立了幾個冒充真實公司的組織帳號。這些假的 Hugging Face 組織帳號看起來很正式,被冒充公司的員工因此主動申請加入,以為那就是公司內部用來分享模型的官方空間。這讓研究人員完整取得了員工上傳的所有 AI 模型,包括把模型替換成惡意版本的能力。研究人員也示範了他可以把惡意程式嵌進一個 AI 模型中,藉此進入受害組織的環境。從這裡開始,攻擊者就能發動一連串具破壞性的攻擊,例如竊取智慧財產,或毒害受害者環境中的其他 AI 模型。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Incident ·

Hugging Face 上的惡意模型

ReversingLabs 的研究人員發現,Hugging Face 模型儲存庫上託管著內嵌惡意程式的模型。這些模型一被載入就會建立反向 shell,讓攻擊者取得對受害者系統的指揮控制能力。Hugging Face 使用 Picklescan 掃描模型中的惡意程式碼,但這些模型並沒有被標記為惡意。研究人員發現,這些模型檔案似乎是被刻意弄壞的:惡意內容會先被執行,模型才在最後反序列化失敗;而 Picklescan 的運作前提,正是必須能完整反序列化整個模型。 在得知這個問題之後,Hugging Face 已移除這些模型,並修改 Picklescan 以攔下這種特定攻擊。不過 pickle 檔案本質上就不安全,因為它允許執行任意程式碼,而且可能還有其他類型的惡意 pickle 是 Picklescan 偵測不到的。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

惡意 GGUF 對話範本不改模型權重,也能在推論時植入後門

Pillar Security 與 Fujitsu 的研究人員證實,攻擊者不必修改模型權重,只要竄改 GGUF(常見的量化模型封裝格式)裡的 Jinja 對話範本(用來組合模型提示詞的範本程式),就能在特定條件出現時,把攻擊指令插進系統層級的上下文。研究人員在受控測試環境中發現這種後門不只改變模型輸出,也挾持了 BrowserUse 與 OpenHands 的工具操作(例如:在模擬購物網站的測試中,結帳內容出現 Card Number 與 CVV 時,後門讓 agent 將合成付款資料傳到研究者的本機接收端)。防禦方必須把對話範本視為含有可執行邏輯的釋出成品,驗證完整內容與來源、測試每次格式轉換,並在模型之外限制工具權限和機敏資料去向。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

模型命名空間被重新註冊後,原本可信的名稱也可能改指向惡意模型

Unit 42 的研究顯示,只要 Hugging Face 作者命名空間 (namespace, 模型平台上用來區分作者或組織所屬模型的名稱範圍)被刪除,或模型移轉後舊作者命名空間又變成可被他人註冊,下游程式碼、設定與文件裡未更新的模型參照就可能改指向攻擊者重新註冊的命名空間。研究人員在受控測試環境中註冊已被放棄的名稱、重建原本的模型路徑,讓 Vertex AI 與 Azure AI Foundry 部署流程載入含有反向 shell(由受影響環境主動連回外部、讓對方取得命令列)的模型;原作者帳號並未遭入侵。防禦方不能再把熟悉的名稱當成模型身分,而要以不可變的成品雜湊值與簽章者身分固定模型版本、監看命名空間生命週期、使用內部鏡像站,並隔離模型載入流程。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

PoisonGPT:把植入假事實的模型混進 Hugging Face

Mithril Security 的研究人員示範了如何對一個開源的預訓練大型語言模型(LLM)投毒,讓它回答一項錯誤的事實。接著他們把這個遭投毒的模型上傳回 HuggingFace,也就是目前最大的公開模型中心,藉此凸顯 LLM 供應鏈的脆弱之處。使用者原本可能下載到這個遭投毒的模型,接收並散播被汙染的資料與錯誤資訊,造成各種潛在危害。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗