AML.T0010.003 · Model

閱讀 MITRE ATLAS 中 AML.T0010.003「Model」相關的 6 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

AI-enabled systems often rely on open-source models in various ways. Most commonly, the victim organization may be using these models for fine-tuning. These models will be downloaded from an external source and then used as the base for the model as it is tuned on a smaller, private dataset. Loading models often requires executing some saved code in the form of a saved model file. These can be compromised with traditional malware, or through some adversarial AI techniques.

框架官方來源 ↗ · 開啟互動探索 ↗

Validated Research ·

Hugging Face 上的組織身分混淆

資安研究人員 threlfall_hax(https://5stars217.github.io/)在公開模型儲存平台 Hugging Face 上,建立了幾個冒充真實公司的組織帳號。這些假的 Hugging Face 組織帳號看起來很正式,被冒充公司的員工因此主動申請加入,以為那就是公司內部用來分享模型的官方空間。這讓研究人員完整取得了員工上傳的所有 AI 模型,包括把模型替換成惡意版本的能力。研究人員也示範了他可以把惡意程式嵌進一個 AI 模型中,藉此進入受害組織的環境。從這裡開始,攻擊者就能發動一連串具破壞性的攻擊,例如竊取智慧財產,或毒害受害者環境中的其他 AI 模型。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Incident ·

ShadowRay:挾持暴露在外的 Ray 叢集

Ray 是一套開源的 Python 框架,用來把正式環境的 AI 工作流程擴展到大規模執行。Ray 的 Job API 在設計上就允許遠端執行任意程式碼,卻沒有提供身分驗證,而且預設設定可能讓整個叢集直接暴露在網際網路上。Oligo 的研究人員發現,這些 Ray 叢集已經被實際利用至少七個月。攻擊者可以拿受害組織的運算資源來用,也能竊走有價值的資訊。研究人員估計,這些被入侵機器的價值接近 10 億美元。 研究人員向 Ray 的維護者 Anyscale 通報了五個漏洞,Anyscale 很快修正了其中四個。不過第五個漏洞 CVE-2023-48022(https://nvd.nist.gov/vuln/detail/CVE-2023-48022)仍處於爭議狀態。Anyscale 主張 Ray 不做身分驗證是一項設計決定,Ray 本來就應該部署在安全的網路環境中。Oligo 的研究人員則稱它為「影子漏洞」,因為在爭議狀態下,這個 CVE 不會出現在靜態掃描結果中。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

針對行動 App 中深度學習模型的後門攻擊

深度學習模型越來越常成為行動應用程式中的關鍵元件。微軟研究院的研究人員示範了,許多部署在行動 App 裡的深度學習模型,都可能被「神經負載注入」(neural payload injection)這種手法植入後門。他們針對從 Google Play 蒐集來的真實行動深度學習 App 做了實證研究,找出 54 個會受到這種攻擊影響的 App,其中包括用於鈔票辨識、家長監護、人臉驗證與金融服務等安全至關重要的熱門應用程式。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

惡意 GGUF 對話範本不改模型權重,也能在推論時植入後門

Pillar Security 與 Fujitsu 的研究人員證實,攻擊者不必修改模型權重,只要竄改 GGUF(常見的量化模型封裝格式)裡的 Jinja 對話範本(用來組合模型提示詞的範本程式),就能在特定條件出現時,把攻擊指令插進系統層級的上下文。研究人員在受控測試環境中發現這種後門不只改變模型輸出,也挾持了 BrowserUse 與 OpenHands 的工具操作(例如:在模擬購物網站的測試中,結帳內容出現 Card Number 與 CVV 時,後門讓 agent 將合成付款資料傳到研究者的本機接收端)。防禦方必須把對話範本視為含有可執行邏輯的釋出成品,驗證完整內容與來源、測試每次格式轉換,並在模型之外限制工具權限和機敏資料去向。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

模型命名空間被重新註冊後,原本可信的名稱也可能改指向惡意模型

Unit 42 的研究顯示,只要 Hugging Face 作者命名空間 (namespace, 模型平台上用來區分作者或組織所屬模型的名稱範圍)被刪除,或模型移轉後舊作者命名空間又變成可被他人註冊,下游程式碼、設定與文件裡未更新的模型參照就可能改指向攻擊者重新註冊的命名空間。研究人員在受控測試環境中註冊已被放棄的名稱、重建原本的模型路徑,讓 Vertex AI 與 Azure AI Foundry 部署流程載入含有反向 shell(由受影響環境主動連回外部、讓對方取得命令列)的模型;原作者帳號並未遭入侵。防禦方不能再把熟悉的名稱當成模型身分,而要以不可變的成品雜湊值與簽章者身分固定模型版本、監看命名空間生命週期、使用內部鏡像站,並隔離模型載入流程。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

PoisonGPT:把植入假事實的模型混進 Hugging Face

Mithril Security 的研究人員示範了如何對一個開源的預訓練大型語言模型(LLM)投毒,讓它回答一項錯誤的事實。接著他們把這個遭投毒的模型上傳回 HuggingFace,也就是目前最大的公開模型中心,藉此凸顯 LLM 供應鏈的脆弱之處。使用者原本可能下載到這個遭投毒的模型,接收並散播被汙染的資料與錯誤資訊,造成各種潛在危害。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗