8.2 · 模型竊取

閱讀 Databricks DASF 3.0 中 8.2「模型竊取」相關的 11 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者複製或擷取專有模型,或透過觀察輸入與輸出來重建其行為。即使查詢表面上合法,也可能累積足夠的觀察資料來訓練複製模型,侵蝕原模型的開發投資與競爭優勢。複製模型也可能被進一步用來推知特徵或訓練資料資訊。

框架官方來源 ↗ · 開啟互動探索 ↗

Incident · · 實務關聯

Fireworks 入侵事件:評估作業憑證、開發機器與客戶資料的防禦邊界

Fireworks AI 提供模型推理、評估與訓練的代管服務。該公司公告,部分客戶評估作業中的機敏憑證遭存取,後續又發現開發機器上的未授權活動影響客戶資料。客戶能在發證平台撤銷外洩憑證;開發環境與客戶資產之間的隔離,則由平台業者負責。

關聯理由: 未完成模型權重遭未授權存取,與保護專有模型避免遭竊有實質實務關聯。 尚未確認完整模型複製、依行為擷取、可執行的仿製模型或後續重用。

對應範圍限於 AI 平台憑證與資料遭未授權存取、受影響的基礎設施與資料作業、供應商相依關係,以及模型資產機密性。實務關聯會明列 agent、MCP、模型查詢及完整複製等證據尚未建立的限制;不代表防禦已實測成功。

AIA · 閱讀完整案例 ↗

Incident ·

跨供應商大量蒸餾美國前沿 AI 模型能力

NSA、CISA 與 FBI 在 2026 年 9 月聯合公告中,將協同蒸餾活動歸因於六家中國 AI 公司。公告描述假帳號、大量購買訂閱、灰色市場代理、跨供應商路由、移除請求中的組織資訊,以及企圖取得隱藏推理的提示詞,接著把回覆蒐集成資料並檢查品質。蒸餾是用其他模型的輸出訓練自己的模型;歸因與能力影響在此保留為三個機關的調查研判,不能寫成我們已獨立重現量測,也不代表模型權重遭竊取。

關聯理由: NSA、CISA 與 FBI 歸因的活動:輸出被蒐集來重建有價值的模型行為。

NSA、CISA 與 FBI 歸因的活動;區分能力蒸餾與竊取原始權重。歸因與能力結果維持為機關研判;隱藏推理提示詞是嘗試,不能證明回傳文字就是內部軌跡,也不推定自主 agent 部署。

SecureFlow · 閱讀完整案例 ↗

Incident ·

大量查詢 Google AI 服務,蒐集輸出以蒸餾模型能力

Google 表示,有行動者使用失竊憑證、假帳號與代理伺服器,大量蒐集模型回覆進行蒸餾,也就是拿一個模型的輸出訓練另一個模型。2026 年 2 月報告中的推理能力蒐集活動超過 10 萬個提示詞,後續部分活動更超過一億個。這些數字代表查詢規模,不能寫成模型權重已遭竊取或能力複製的成功率。Google 表示已封鎖相關帳號,並降低蒐集所得輸出的利用價值。

關聯理由: Google 的失竊及假帳號活動:輸出被蒐集來重建有價值的模型行為。

Google 的失竊及假帳號活動;區分能力蒸餾與竊取原始權重。提示詞總量代表蒐集規模,不是複製成功率或取得的模型權重;未建立自主 agent 部署或受保護推理已取回的證據。

SecureFlow · 閱讀完整案例 ↗

Incident ·

針對 Anthropic Claude 的模型蒸餾行動

Anthropic 將約 24,000 個假帳號、超過 1,600 萬次互動的蒸餾活動,歸因於 DeepSeek、Moonshot AI 與 MiniMax。流程分開呈現代理存取、帳號驗證、分散路由、取得推論回覆及後續模型訓練。供應商端的威脅調查與經驗證限制,須在輸出送出前作用;缺少防護的模型可能造成哪些傷害,維持為 Anthropic 的風險研判,不能當成已觀察到的下游受害者統計。

關聯理由: Anthropic 報告的 DeepSeek、Moonshot AI 與 MiniMax 活動:輸出被蒐集來重建有價值的模型行為。

Anthropic 報告的 DeepSeek、Moonshot AI 與 MiniMax 活動;區分能力蒸餾與竊取原始權重。約 24,000 個帳號與 1,600 萬次互動,不是取回權重或已觀察下游傷害的數量;潛在傷害維持為 Anthropic 研判,未建立 agent 部署。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

以供應鏈攻擊竄改 AI 模型

趨勢科技的研究人員利用服務索引平台與網路搜尋工具,找出超過 8,000 個設定不當、暴露在網際網路上的私有容器登錄庫。其中約有 70% 的登錄庫,存取控制也過於寬鬆,甚至允許寫入。在分析過程中,研究人員在這些開放的登錄庫裡,找到超過 1,000 個內嵌在私有容器映像檔中的 AI 模型,而且不需要身分驗證就能拉下來。 這種暴露會讓攻擊者可以下載、檢視並修改容器內容,包括機敏的 AI 模型檔案。這等於把有價值的智慧財產攤在攻擊者面前,讓它可能被竊走。攻擊者也可以把被動過手腳的映像檔推回登錄庫,形成供應鏈攻擊,破壞正式系統所使用 AI 模型的完整性。

關聯理由: 暴露 registry 允許取得模型與替換映像;區分已知暴露與潛在後續利用。 此處對應「模型竊取」:攻擊者複製或擷取專有模型,或透過觀察輸入與輸出來重建其行為。 暴露 registry 允許取得模型與替換映像;區分已知暴露與潛在後續利用。

調查確認了登錄庫暴露;另有受控模擬示範模型參數修改與重新封裝。未證實公開部署已下載被竄改的映像。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

Hugging Face 上的組織身分混淆

資安研究人員 threlfall_hax(https://5stars217.github.io/)在公開模型儲存平台 Hugging Face 上,建立了幾個冒充真實公司的組織帳號。這些假的 Hugging Face 組織帳號看起來很正式,被冒充公司的員工因此主動申請加入,以為那就是公司內部用來分享模型的官方空間。這讓研究人員完整取得了員工上傳的所有 AI 模型,包括把模型替換成惡意版本的能力。研究人員也示範了他可以把惡意程式嵌進一個 AI 模型中,藉此進入受害組織的環境。從這裡開始,攻擊者就能發動一連串具破壞性的攻擊,例如竊取智慧財產,或毒害受害者環境中的其他 AI 模型。

關聯理由: 假冒 Hugging Face 組織取得模型及替換權限。 此處對應「模型竊取」:攻擊者複製或擷取專有模型,或透過觀察輸入與輸出來重建其行為。 假冒 Hugging Face 組織取得模型及替換權限。

假冒 Hugging Face 組織取得模型及替換權限。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

ProofPoint 郵件防護遭規避

Proof Pudding(CVE-2019-20634)是一個程式碼儲存庫,記錄了機器學習研究人員如何規避 ProofPoint 的郵件防護系統:他們先做出一個模仿版的郵件防護機器學習模型,再用從中得到的線索去繞過線上的正式系統。更具體地說,這些線索讓研究人員能寫出可以拿到偏高評分的惡意郵件,使系統偵測不到。這套系統會依多個變數為郵件中的每個字給出數值評分,如果整封郵件的總分太低,ProofPoint 就會回傳錯誤,把它標記為垃圾郵件。

關聯理由: 先建立替代偵測模型,再調整郵件規避正式系統。 對已部署服務的查詢,提供了訓練功能替代模型所需的輸入與輸出配對。來源驗證了模型能力被複製的路徑,不需要先還原原始權重。

先建立替代偵測模型,再調整郵件規避正式系統。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

針對機器翻譯服務的攻擊

機器翻譯服務(例如 Google 翻譯、Bing Translator 與 Systran Translate)都對外提供網頁介面與 API。加州大學柏克萊分校的一個研究團隊,就利用這些公開端點,複製出一個翻譯品質接近正式環境水準的模型。除了證明智慧財產可以從一個黑箱系統中被實質竊走之外,他們還用這個複製出來的模型,成功把對抗樣本轉移到真正的正式服務上。這些對抗式輸入在 Google 翻譯與 Systran Translate 網站上,成功造成了指定字詞被替換、輸出粗俗內容,以及整句被略過等結果。

關聯理由: 利用翻譯端點建立替代模型,再轉移對抗樣本。 對已部署服務的查詢,提供了訓練功能替代模型所需的輸入與輸出配對。來源驗證了模型能力被複製的路徑,不需要先還原原始權重。

利用翻譯端點建立替代模型,再轉移對抗樣本。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

GPUBreach:GPU 記憶體故障可越過模型下方的隔離邊界

GPUBreach 研究者在 NVIDIA RTX A6000 上,以沒有特權的 CUDA 程式反覆存取記憶體,誘發位元翻轉 (bit flip,某個位元的值從 0 變成 1,或從 1 變成 0),進而破壞 GPU 分頁表 (page table,記錄程式記憶體位址如何對應到實體記憶體的資料表);這類硬體攻擊稱為 Rowhammer。受控示範包含跨程序 GPU 存取、LLM 權重外洩,以及另一條在 IOMMU 啟用時仍可取得 CPU root 的驅動程式路徑。AI 部署方可採取的防禦,是避免機敏工作與不可信 GPU 程式共用故障範圍。

關聯理由: 未授權模型權重存取,是具體模型竊取結果。

受控 GPU 分頁表破壞與另一條 CPU 驅動提權;模型權重竊取不是訓練資料推論。

AIA · 閱讀完整案例 ↗

Validated Research ·

Google 相簿 AI 模型遭萃取

Skyld 的研究人員分析了 Google 相簿的 Android 應用程式,並取出其中支撐 AI 照片編輯與影像分析功能的 TensorFlow Lite 模型。研究人員發現,這些模型分別以未加密的形式放在應用程式資產中、內嵌在原生函式庫裡,以及以加密形式存放在磁碟上。他們用靜態逆向工程找出 TFLite 成品,再用 Frida 做動態插樁,在執行期解密之後把加密的模型攔截下來。取回這些模型之後,研究人員等於取得了 Google 相簿專有模型成品的白箱存取權。

關聯理由: 完整的專有模型檔案可被複製並重用。

靜態分析 APK/原生程式庫,以及執行時攔截,都能取得模型檔案。已展示的結果是取得模型;後續規避攻擊仍是可能影響。

SecureFlow · 閱讀完整案例 ↗

Exercise ·

Microsoft Azure 服務中斷演練

微軟的 AI 紅隊針對一項內部 Azure 服務進行紅隊演練,目標是讓該服務中斷。這次行動同時用上了傳統的 ATT&CK 企業環境手法,例如找出可用的有效帳號、把資料外傳,並在其中穿插了對抗式機器學習專屬的步驟,包括離線與線上的規避樣本。

關聯理由: 紅隊案例結合傳統入侵及對抗 ML,不推論其他未述機制。 來源記錄的紅隊流程,先取得並傳出已訓練的模型檔與訓練資料,再使用這些資產進行離線對抗準備。

紅隊案例結合傳統入侵及對抗 ML,不推論其他未述機制。

SecureFlow · 閱讀完整案例 ↗