7.2 · 模型資產外洩

閱讀 Databricks DASF 3.0 中 7.2「模型資產外洩」相關的 8 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

模型、資料集與模型互動過程產生的中繼資料,遭到暴露或竊取。內部人員也可能洩漏 Notebook(互動式程式筆記本)、特徵、模型檔案、圖表與指標等相關資產。這些內容可能揭露營業秘密與組織敏感資訊,也可能協助攻擊者準備後續機器學習攻擊。

框架官方來源 ↗ · 開啟互動探索 ↗

Incident ·

Fireworks 入侵事件:評估作業憑證、開發機器與客戶資料的防禦邊界

Fireworks AI 提供模型推理、評估與訓練的代管服務。該公司公告,部分客戶評估作業中的機敏憑證遭存取,後續又發現開發機器上的未授權活動影響客戶資料。客戶能在發證平台撤銷外洩憑證;開發環境與客戶資產之間的隔離,則由平台業者負責。

關聯理由: 業者確認客戶資料集與未完成模型權重遭未授權存取,直接對應模型相關資產外洩。

對應範圍限於 AI 平台憑證與資料遭未授權存取、受影響的基礎設施與資料作業、供應商相依關係,以及模型資產機密性。實務關聯會明列 agent、MCP、模型查詢及完整複製等證據尚未建立的限制;不代表防禦已實測成功。

AIA · 閱讀完整案例 ↗

Validated Research ·

以供應鏈攻擊竄改 AI 模型

趨勢科技的研究人員利用服務索引平台與網路搜尋工具,找出超過 8,000 個設定不當、暴露在網際網路上的私有容器登錄庫。其中約有 70% 的登錄庫,存取控制也過於寬鬆,甚至允許寫入。在分析過程中,研究人員在這些開放的登錄庫裡,找到超過 1,000 個內嵌在私有容器映像檔中的 AI 模型,而且不需要身分驗證就能拉下來。 這種暴露會讓攻擊者可以下載、檢視並修改容器內容,包括機敏的 AI 模型檔案。這等於把有價值的智慧財產攤在攻擊者面前,讓它可能被竊走。攻擊者也可以把被動過手腳的映像檔推回登錄庫,形成供應鏈攻擊,破壞正式系統所使用 AI 模型的完整性。

關聯理由: 暴露 registry 允許取得模型與替換映像;區分已知暴露與潛在後續利用。 此處對應「模型資產外洩」:模型、資料集與模型互動過程產生的中繼資料,遭到暴露或竊取。 暴露 registry 允許取得模型與替換映像;區分已知暴露與潛在後續利用。

調查確認了登錄庫暴露;另有受控模擬示範模型參數修改與重新封裝。未證實公開部署已下載被竄改的映像。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

Hugging Face 上的組織身分混淆

資安研究人員 threlfall_hax(https://5stars217.github.io/)在公開模型儲存平台 Hugging Face 上,建立了幾個冒充真實公司的組織帳號。這些假的 Hugging Face 組織帳號看起來很正式,被冒充公司的員工因此主動申請加入,以為那就是公司內部用來分享模型的官方空間。這讓研究人員完整取得了員工上傳的所有 AI 模型,包括把模型替換成惡意版本的能力。研究人員也示範了他可以把惡意程式嵌進一個 AI 模型中,藉此進入受害組織的環境。從這裡開始,攻擊者就能發動一連串具破壞性的攻擊,例如竊取智慧財產,或毒害受害者環境中的其他 AI 模型。

關聯理由: 假冒 Hugging Face 組織取得模型及替換權限。 此處對應「模型資產外洩」:模型、資料集與模型互動過程產生的中繼資料,遭到暴露或竊取。 假冒 Hugging Face 組織取得模型及替換權限。

假冒 Hugging Face 組織取得模型及替換權限。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

Compaction Smuggling:壓縮對話成為轉移隱藏推理內容的管道

Xint 測試了 OpenAI API 的對話壓縮功能,也就是把先前工作整理成後續模型可接續使用的內容。研究者利用可由用戶端指定的壓縮指示,將 gpt-5.6-sol 受保護的推理內容轉存為加密壓縮項目,再交給 gpt-4.1 或 gpt-4o 回傳可讀文字。這是以研究者自己的題目進行的受控 API 測試,未展示竊取其他使用者的對話。Xint 表示,問題已於 2026 年 10 月 23 日以未公開細節的方式修補。

關聯理由: 模型使用過程產生的成品,暴露受保護中間推理。 外洩成品是衍生推理與脈絡,不是權重、筆記本或訓練資料集。

透過用戶端控制的同模型壓縮與較舊接收模型 API,受控擷取提供者保護的推理內容;沒有展示自主 agent 部署、竊取客戶對話或訓練模型副本。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

GPUBreach:GPU 記憶體故障可越過模型下方的隔離邊界

GPUBreach 研究者在 NVIDIA RTX A6000 上,以沒有特權的 CUDA 程式反覆存取記憶體,誘發位元翻轉 (bit flip,某個位元的值從 0 變成 1,或從 1 變成 0),進而破壞 GPU 分頁表 (page table,記錄程式記憶體位址如何對應到實體記憶體的資料表);這類硬體攻擊稱為 Rowhammer。受控示範包含跨程序 GPU 存取、LLM 權重外洩,以及另一條在 IOMMU 啟用時仍可取得 CPU root 的驅動程式路徑。AI 部署方可採取的防禦,是避免機敏工作與不可信 GPU 程式共用故障範圍。

關聯理由: GPU 記憶體中的機敏模型權重,暴露給另一程序。

受控 GPU 分頁表破壞與另一條 CPU 驅動提權;模型權重竊取不是訓練資料推論。

AIA · 閱讀完整案例 ↗

Validated Research · · 實務關聯

AgentCorruption:遭竊的執行角色將 agent 記憶轉為持續性控制管道(C2)

Zenity 在 AWS Bedrock AgentCore(代管 AI agent 執行環境)的受控測試中,針對具備網路工具且執行角色權限過大的 agent 進行驗證。agent 先從中繼資料端點取得臨時角色憑證並傳出,研究人員隨後在平台外直接呼叫 AWS API,存取其他 agent 與記憶庫。本案關鍵在於示範持久化攻擊鏈:先寫入短期對話事件(STM),再藉由系統已設定的擷取策略沉澱為長期記憶(LTM),使後續讀取該記憶的 agent 被導向攻擊者可隨時修改指令的外部網頁。此攻擊鏈證明的影響範圍侷限於同一 AWS 帳號與區域,並未逃逸出 microVM,亦非自動跨帳號入侵。研究人員在 9 月 29 日觀察到 AWS 已大幅限縮預設角色的權限範本,但既有已部署的角色仍須團隊獨立清查。

關聯理由: 遭竊角色取回 agent 與模型使用過程產生的私有對話事件。 這些是對話成品,不是遭竊權重或重建模型。

受控的廣權限 AgentCore 部署,分開呈現直接 API 與保留記憶/命令網頁路徑;明列帳號區域、工具前提及後續預設角色限縮。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

Google 相簿 AI 模型遭萃取

Skyld 的研究人員分析了 Google 相簿的 Android 應用程式,並取出其中支撐 AI 照片編輯與影像分析功能的 TensorFlow Lite 模型。研究人員發現,這些模型分別以未加密的形式放在應用程式資產中、內嵌在原生函式庫裡,以及以加密形式存放在磁碟上。他們用靜態逆向工程找出 TFLite 成品,再用 Frida 做動態插樁,在執行期解密之後把加密的模型攔截下來。取回這些模型之後,研究人員等於取得了 Google 相簿專有模型成品的白箱存取權。

關聯理由: 模型成品以未加密或解密後的檔案形式變得可存取。

靜態分析 APK/原生程式庫,以及執行時攔截,都能取得模型檔案。已展示的結果是取得模型;後續規避攻擊仍是可能影響。

SecureFlow · 閱讀完整案例 ↗

Exercise ·

Microsoft Azure 服務中斷演練

微軟的 AI 紅隊針對一項內部 Azure 服務進行紅隊演練,目標是讓該服務中斷。這次行動同時用上了傳統的 ATT&CK 企業環境手法,例如找出可用的有效帳號、把資料外傳,並在其中穿插了對抗式機器學習專屬的步驟,包括離線與線上的規避樣本。

關聯理由: 紅隊案例結合傳統入侵及對抗 ML,不推論其他未述機制。 來源記錄的紅隊流程,先取得並傳出已訓練的模型檔與訓練資料,再使用這些資產進行離線對抗準備。

紅隊案例結合傳統入侵及對抗 ML,不推論其他未述機制。

SecureFlow · 閱讀完整案例 ↗