MXF · 模型外洩

閱讀 Google SAIF 2.0 中 MXF「模型外洩」相關的 6 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者未經授權取得模型,藉此重用模型能力或竊取智慧財產。模型程式與權重可能從開發、建置、部署、正式運作或裝置端環境遭竊,攻擊者也可能利用遭入侵的高權限帳號取得這些資產。這與分析模型回應來進行逆向工程有所不同:攻擊者直接取得模型或底層資產,而不只是從輸出推知其行為。

框架官方來源 ↗ · 開啟互動探索 ↗

Incident · · 實務關聯

Fireworks 入侵事件:評估作業憑證、開發機器與客戶資料的防禦邊界

Fireworks AI 提供模型推理、評估與訓練的代管服務。該公司公告,部分客戶評估作業中的機敏憑證遭存取,後續又發現開發機器上的未授權活動影響客戶資料。客戶能在發證平台撤銷外洩憑證;開發環境與客戶資產之間的隔離,則由平台業者負責。

關聯理由: 客戶模型權重遭未授權存取,直接涉及模型外洩防禦所保護的機密性邊界。 目前僅確認部分未完成權重遭存取;尚未建立完整複製、取得可執行的完整模型、重用或智慧財產損失。

對應範圍限於 AI 平台憑證與資料遭未授權存取、受影響的基礎設施與資料作業、供應商相依關係,以及模型資產機密性。實務關聯會明列 agent、MCP、模型查詢及完整複製等證據尚未建立的限制;不代表防禦已實測成功。

AIA · 閱讀完整案例 ↗

Validated Research ·

以供應鏈攻擊竄改 AI 模型

趨勢科技的研究人員利用服務索引平台與網路搜尋工具,找出超過 8,000 個設定不當、暴露在網際網路上的私有容器登錄庫。其中約有 70% 的登錄庫,存取控制也過於寬鬆,甚至允許寫入。在分析過程中,研究人員在這些開放的登錄庫裡,找到超過 1,000 個內嵌在私有容器映像檔中的 AI 模型,而且不需要身分驗證就能拉下來。 這種暴露會讓攻擊者可以下載、檢視並修改容器內容,包括機敏的 AI 模型檔案。這等於把有價值的智慧財產攤在攻擊者面前,讓它可能被竊走。攻擊者也可以把被動過手腳的映像檔推回登錄庫,形成供應鏈攻擊,破壞正式系統所使用 AI 模型的完整性。

關聯理由: 暴露 registry 允許取得模型與替換映像;區分已知暴露與潛在後續利用。 此處對應「模型外洩」:攻擊者未經授權取得模型,藉此重用模型能力或竊取智慧財產。 暴露 registry 允許取得模型與替換映像;區分已知暴露與潛在後續利用。

調查確認了登錄庫暴露;另有受控模擬示範模型參數修改與重新封裝。未證實公開部署已下載被竄改的映像。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

Hugging Face 上的組織身分混淆

資安研究人員 threlfall_hax(https://5stars217.github.io/)在公開模型儲存平台 Hugging Face 上,建立了幾個冒充真實公司的組織帳號。這些假的 Hugging Face 組織帳號看起來很正式,被冒充公司的員工因此主動申請加入,以為那就是公司內部用來分享模型的官方空間。這讓研究人員完整取得了員工上傳的所有 AI 模型,包括把模型替換成惡意版本的能力。研究人員也示範了他可以把惡意程式嵌進一個 AI 模型中,藉此進入受害組織的環境。從這裡開始,攻擊者就能發動一連串具破壞性的攻擊,例如竊取智慧財產,或毒害受害者環境中的其他 AI 模型。

關聯理由: 假冒 Hugging Face 組織取得模型及替換權限。 此處對應「模型外洩」:攻擊者未經授權取得模型,藉此重用模型能力或竊取智慧財產。 假冒 Hugging Face 組織取得模型及替換權限。

假冒 Hugging Face 組織取得模型及替換權限。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

GPUBreach:GPU 記憶體故障可越過模型下方的隔離邊界

GPUBreach 研究者在 NVIDIA RTX A6000 上,以沒有特權的 CUDA 程式反覆存取記憶體,誘發位元翻轉 (bit flip,某個位元的值從 0 變成 1,或從 1 變成 0),進而破壞 GPU 分頁表 (page table,記錄程式記憶體位址如何對應到實體記憶體的資料表);這類硬體攻擊稱為 Rowhammer。受控示範包含跨程序 GPU 存取、LLM 權重外洩,以及另一條在 IOMMU 啟用時仍可取得 CPU root 的驅動程式路徑。AI 部署方可採取的防禦,是避免機敏工作與不可信 GPU 程式共用故障範圍。

關聯理由: 研究展示機敏 LLM 權重資產外洩。

受控 GPU 分頁表破壞與另一條 CPU 驅動提權;模型權重竊取不是訓練資料推論。

AIA · 閱讀完整案例 ↗

Validated Research ·

Google 相簿 AI 模型遭萃取

Skyld 的研究人員分析了 Google 相簿的 Android 應用程式,並取出其中支撐 AI 照片編輯與影像分析功能的 TensorFlow Lite 模型。研究人員發現,這些模型分別以未加密的形式放在應用程式資產中、內嵌在原生函式庫裡,以及以加密形式存放在磁碟上。他們用靜態逆向工程找出 TFLite 成品,再用 Frida 做動態插樁,在執行期解密之後把加密的模型攔截下來。取回這些模型之後,研究人員等於取得了 Google 相簿專有模型成品的白箱存取權。

關聯理由: 取得的模型檔案可在原應用程式之外部署。

靜態分析 APK/原生程式庫,以及執行時攔截,都能取得模型檔案。已展示的結果是取得模型;後續規避攻擊仍是可能影響。

SecureFlow · 閱讀完整案例 ↗

Exercise ·

Microsoft Azure 服務中斷演練

微軟的 AI 紅隊針對一項內部 Azure 服務進行紅隊演練,目標是讓該服務中斷。這次行動同時用上了傳統的 ATT&CK 企業環境手法,例如找出可用的有效帳號、把資料外傳,並在其中穿插了對抗式機器學習專屬的步驟,包括離線與線上的規避樣本。

關聯理由: 紅隊案例結合傳統入侵及對抗 ML,不推論其他未述機制。 來源明確記錄了目標模型檔被傳出的步驟;複製模型資產,和之後的線上規避測試,是不同操作。

紅隊案例結合傳統入侵及對抗 ML,不推論其他未述機制。

SecureFlow · 閱讀完整案例 ↗