AML.T0011.000 · Unsafe AI Artifacts

閱讀 MITRE ATLAS 中 AML.T0011.000「Unsafe AI Artifacts」相關的 7 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

Adversaries may develop new AI artifacts or manipulate existing AI artifacts that have a deleterious effect when loaded, executed, interpreted, or used for inference by a victim. The unsafe artifacts may continue to work as expected from the victim's perspective. Unsafe AI artifacts may include serialized models, model packages, and bundled components such as prompt or chat templates, tokenizer metadata, configuration, pre-processing logic, post-processing logic, or other executable or behavior-shaping metadata. An unsafe artifact may exploit deserialization or another software vulnerability to execute code on the host. However, exploitation of a software vulnerability is not required. An artifact may instead use functionality intentionally supported by an AI runtime to alter model context, model outputs, safety behavior, or agent actions. Adversaries may introduce unsafe artifacts through an [AI Supply Chain Compromise](/techniques/AML.T0010). Execution may occur when a user loads the artifact, starts an inference runtime, submits an inference request, or otherwise causes the artifact's bundled logic to be processed.

框架官方來源 ↗ · 開啟互動探索 ↗

Validated Research ·

Hugging Face 上的組織身分混淆

資安研究人員 threlfall_hax(https://5stars217.github.io/)在公開模型儲存平台 Hugging Face 上,建立了幾個冒充真實公司的組織帳號。這些假的 Hugging Face 組織帳號看起來很正式,被冒充公司的員工因此主動申請加入,以為那就是公司內部用來分享模型的官方空間。這讓研究人員完整取得了員工上傳的所有 AI 模型,包括把模型替換成惡意版本的能力。研究人員也示範了他可以把惡意程式嵌進一個 AI 模型中,藉此進入受害組織的環境。從這裡開始,攻擊者就能發動一連串具破壞性的攻擊,例如竊取智慧財產,或毒害受害者環境中的其他 AI 模型。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

Plugin4Shell:Git 參照遮蔽,讓外掛程式繞過已審查的版本固定

Air Security 團隊示範,AI 輔助程式設計客戶端在安裝外掛時,可能載入與官方市集已審查提交(commit)完全不同的程式碼。若攻擊者取得受信任外掛上游儲存庫的控制權,即可建立與已固定 SHA 同名的預設分支,或在 Gemini CLI 環境中建立名為 FETCH_HEAD 的預設分支以遮蔽預期結果。後續的背景更新將在無須使用者再次點擊確認的情況下載入惡意程式碼。此安全缺陷出在客戶端未檢驗實際 checkout 至工作目錄的 commit 雜湊值,而非市集完全缺乏審查;攻擊者控制上游儲存庫以及符合條件的客戶端與託管平台,皆為本攻擊路徑的必要前提。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident ·

LiteLLM 1.107.0:外洩未撤銷的 Agent 主金鑰,導致官方簽章發布流程遭入侵

10 月 21 日,LiteLLM(用來呼叫各家模型服務的 Python 函式庫與閘道)透過正常建置與簽章流程,發布了夾帶竊密程式的 1.107.0 惡意版本。LiteLLM 官方於 10 月 23 日公布的調查報告確認,攻擊入口是先前公開外洩且未被撤銷的實驗性 Agent Platform 主金鑰(master key);攻擊者利用該金鑰取得 GitHub 組織擁有者的 CLI OAuth token,再透過兩次拋棄式 CI 流程分別竊取兩位專案維護者的 token。本案凸顯出:軟體使用者端必須嚴格鎖定並僅接受預先核准的確切套件雜湊值,且軟體提供端必須在憑證簽發處徹底撤銷各代金鑰,才能守住有效官方簽章無法保證安全的防禦邊界。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

GitSpawn:程式開發 Agent尚未取得信任,專案儲存庫就能先執行惡意命令

資安團隊 Manifold Security 在評估 7 款主流 AI 程式開發工具時,發現了 8 項名為 GitSpawn 的安全漏洞。當開發者透過壓縮檔或共享資料夾開啟一個保留了完整本機 .git 目錄的專案時,Git 在執行 status、diff 或背景收集專案脈絡時,會讀取並執行 .git/config 中設定的 core.fsmonitor 命令;更嚴重的是,這個執行時間點早於 AI 工具跳出「是否信任此工作區」的確認提示。此為受控實驗室驗證,並非真實惡意攻擊事件,且一般透過 git clone 下載的專案預設不會包含此本機設定。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident ·

Hugging Face 上的惡意模型

ReversingLabs 的研究人員發現,Hugging Face 模型儲存庫上託管著內嵌惡意程式的模型。這些模型一被載入就會建立反向 shell,讓攻擊者取得對受害者系統的指揮控制能力。Hugging Face 使用 Picklescan 掃描模型中的惡意程式碼,但這些模型並沒有被標記為惡意。研究人員發現,這些模型檔案似乎是被刻意弄壞的:惡意內容會先被執行,模型才在最後反序列化失敗;而 Picklescan 的運作前提,正是必須能完整反序列化整個模型。 在得知這個問題之後,Hugging Face 已移除這些模型,並修改 Picklescan 以攔下這種特定攻擊。不過 pickle 檔案本質上就不安全,因為它允許執行任意程式碼,而且可能還有其他類型的惡意 pickle 是 Picklescan 偵測不到的。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

惡意 GGUF 對話範本不改模型權重,也能在推論時植入後門

Pillar Security 與 Fujitsu 的研究人員證實,攻擊者不必修改模型權重,只要竄改 GGUF(常見的量化模型封裝格式)裡的 Jinja 對話範本(用來組合模型提示詞的範本程式),就能在特定條件出現時,把攻擊指令插進系統層級的上下文。研究人員在受控測試環境中發現這種後門不只改變模型輸出,也挾持了 BrowserUse 與 OpenHands 的工具操作(例如:在模擬購物網站的測試中,結帳內容出現 Card Number 與 CVV 時,後門讓 agent 將合成付款資料傳到研究者的本機接收端)。防禦方必須把對話範本視為含有可執行邏輯的釋出成品,驗證完整內容與來源、測試每次格式轉換,並在模型之外限制工具權限和機敏資料去向。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

模型命名空間被重新註冊後,原本可信的名稱也可能改指向惡意模型

Unit 42 的研究顯示,只要 Hugging Face 作者命名空間 (namespace, 模型平台上用來區分作者或組織所屬模型的名稱範圍)被刪除,或模型移轉後舊作者命名空間又變成可被他人註冊,下游程式碼、設定與文件裡未更新的模型參照就可能改指向攻擊者重新註冊的命名空間。研究人員在受控測試環境中註冊已被放棄的名稱、重建原本的模型路徑,讓 Vertex AI 與 Azure AI Foundry 部署流程載入含有反向 shell(由受影響環境主動連回外部、讓對方取得命令列)的模型;原作者帳號並未遭入侵。防禦方不能再把熟悉的名稱當成模型身分,而要以不可變的成品雜湊值與簽章者身分固定模型版本、監看命名空間生命週期、使用內部鏡像站,並隔離模型載入流程。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗