AI SECURITY CASES × FRAMEWORKS
9.2 · 模型反演
閱讀 Databricks DASF 3.0 中 9.2「模型反演」相關的 5 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明
攻擊者反覆測試模型,在無法直接存取原始資產的情況下,還原私密資訊或重建模型功能。DASF 在這一項同時列出訓練資料、特徵、超參數,以及透過反覆查詢重建功能相近模型的情況。這些結果彼此相關,但仍有差別:還原私密資料不一定代表已複製模型,複製模型也不一定代表已取得原始訓練資料。
框架官方來源 ↗ · 開啟互動探索 ↗
Incident ·
NSA、CISA 與 FBI 在 2026 年 9 月聯合公告中,將協同蒸餾活動歸因於六家中國 AI 公司。公告描述假帳號、大量購買訂閱、灰色市場代理、跨供應商路由、移除請求中的組織資訊,以及企圖取得隱藏推理的提示詞,接著把回覆蒐集成資料並檢查品質。蒸餾是用其他模型的輸出訓練自己的模型;歸因與能力影響在此保留為三個機關的調查研判,不能寫成我們已獨立重現量測,也不代表模型權重遭竊取。
關聯理由: NSA、CISA 與 FBI 歸因的活動:本案對應 DASF 明列的反覆查詢、功能等效擷取分支。
NSA、CISA 與 FBI 歸因的活動;區分能力蒸餾與竊取原始權重。歸因與能力結果維持為機關研判;隱藏推理提示詞是嘗試,不能證明回傳文字就是內部軌跡,也不推定自主 agent 部署。
SecureFlow · 閱讀完整案例 ↗
Incident ·
Google 表示,有行動者使用失竊憑證、假帳號與代理伺服器,大量蒐集模型回覆進行蒸餾,也就是拿一個模型的輸出訓練另一個模型。2026 年 2 月報告中的推理能力蒐集活動超過 10 萬個提示詞,後續部分活動更超過一億個。這些數字代表查詢規模,不能寫成模型權重已遭竊取或能力複製的成功率。Google 表示已封鎖相關帳號,並降低蒐集所得輸出的利用價值。
關聯理由: Google 的失竊及假帳號活動:本案對應 DASF 明列的反覆查詢、功能等效擷取分支。
Google 的失竊及假帳號活動;區分能力蒸餾與竊取原始權重。提示詞總量代表蒐集規模,不是複製成功率或取得的模型權重;未建立自主 agent 部署或受保護推理已取回的證據。
SecureFlow · 閱讀完整案例 ↗
Incident ·
Anthropic 將約 24,000 個假帳號、超過 1,600 萬次互動的蒸餾活動,歸因於 DeepSeek、Moonshot AI 與 MiniMax。流程分開呈現代理存取、帳號驗證、分散路由、取得推論回覆及後續模型訓練。供應商端的威脅調查與經驗證限制,須在輸出送出前作用;缺少防護的模型可能造成哪些傷害,維持為 Anthropic 的風險研判,不能當成已觀察到的下游受害者統計。
關聯理由: Anthropic 報告的 DeepSeek、Moonshot AI 與 MiniMax 活動:本案對應 DASF 明列的反覆查詢、功能等效擷取分支。
Anthropic 報告的 DeepSeek、Moonshot AI 與 MiniMax 活動;區分能力蒸餾與竊取原始權重。約 24,000 個帳號與 1,600 萬次互動,不是取回權重或已觀察下游傷害的數量;潛在傷害維持為 Anthropic 研判,未建立 agent 部署。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Proof Pudding(CVE-2019-20634)是一個程式碼儲存庫,記錄了機器學習研究人員如何規避 ProofPoint 的郵件防護系統:他們先做出一個模仿版的郵件防護機器學習模型,再用從中得到的線索去繞過線上的正式系統。更具體地說,這些線索讓研究人員能寫出可以拿到偏高評分的惡意郵件,使系統偵測不到。這套系統會依多個變數為郵件中的每個字給出數值評分,如果整封郵件的總分太低,ProofPoint 就會回傳錯誤,把它標記為垃圾郵件。
關聯理由: 先建立替代偵測模型,再調整郵件規避正式系統。 此處對應「模型反演」:攻擊者反覆測試模型,在無法直接存取原始資產的情況下,還原私密資訊或重建模型功能。
先建立替代偵測模型,再調整郵件規避正式系統。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
機器翻譯服務(例如 Google 翻譯、Bing Translator 與 Systran Translate)都對外提供網頁介面與 API。加州大學柏克萊分校的一個研究團隊,就利用這些公開端點,複製出一個翻譯品質接近正式環境水準的模型。除了證明智慧財產可以從一個黑箱系統中被實質竊走之外,他們還用這個複製出來的模型,成功把對抗樣本轉移到真正的正式服務上。這些對抗式輸入在 Google 翻譯與 Systran Translate 網站上,成功造成了指定字詞被替換、輸出粗俗內容,以及整句被略過等結果。
關聯理由: 利用翻譯端點建立替代模型,再轉移對抗樣本。 此處對應「模型反演」:攻擊者反覆測試模型,在無法直接存取原始資產的情況下,還原私密資訊或重建模型功能。
利用翻譯端點建立替代模型,再轉移對抗樣本。
SecureFlow · 閱讀完整案例 ↗