NISTAML.031 · 模型擷取

閱讀 NIST Adversarial ML (2025) 中 NISTAML.031「模型擷取」相關的 9 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者擷取模型架構或參數的資訊,常見做法是向機器學習服務提交特別設計的查詢,也可能利用旁通道資訊。取得的結果可能是功能相近的模型,不一定是原模型的完整副本。這些資訊除了可能暴露專有資產,也可能讓攻擊者進一步設計更有效的攻擊。

框架官方來源 ↗ · 開啟互動探索 ↗

Incident · · 實務關聯

跨供應商大量蒸餾美國前沿 AI 模型能力

NSA、CISA 與 FBI 在 2026 年 9 月聯合公告中,將協同蒸餾活動歸因於六家中國 AI 公司。公告描述假帳號、大量購買訂閱、灰色市場代理、跨供應商路由、移除請求中的組織資訊,以及企圖取得隱藏推理的提示詞,接著把回覆蒐集成資料並檢查品質。蒸餾是用其他模型的輸出訓練自己的模型;歸因與能力影響在此保留為三個機關的調查研判,不能寫成我們已獨立重現量測,也不代表模型權重遭竊取。

關聯理由: 在NSA、CISA 與 FBI 歸因的活動中,回覆查詢與後續訓練,目的是重建特定模型行為。 已確認的目標是能力複製;未主張架構推論、參數取回或模型完全相同。

NSA、CISA 與 FBI 歸因的活動;區分能力蒸餾與竊取原始權重。歸因與能力結果維持為機關研判;隱藏推理提示詞是嘗試,不能證明回傳文字就是內部軌跡,也不推定自主 agent 部署。

SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

大量查詢 Google AI 服務,蒐集輸出以蒸餾模型能力

Google 表示,有行動者使用失竊憑證、假帳號與代理伺服器,大量蒐集模型回覆進行蒸餾,也就是拿一個模型的輸出訓練另一個模型。2026 年 2 月報告中的推理能力蒐集活動超過 10 萬個提示詞,後續部分活動更超過一億個。這些數字代表查詢規模,不能寫成模型權重已遭竊取或能力複製的成功率。Google 表示已封鎖相關帳號,並降低蒐集所得輸出的利用價值。

關聯理由: 在Google 的失竊及假帳號活動中,回覆查詢與後續訓練,目的是重建特定模型行為。 已確認的目標是能力複製;未主張架構推論、參數取回或模型完全相同。

Google 的失竊及假帳號活動;區分能力蒸餾與竊取原始權重。提示詞總量代表蒐集規模,不是複製成功率或取得的模型權重;未建立自主 agent 部署或受保護推理已取回的證據。

SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

針對 Anthropic Claude 的模型蒸餾行動

Anthropic 將約 24,000 個假帳號、超過 1,600 萬次互動的蒸餾活動,歸因於 DeepSeek、Moonshot AI 與 MiniMax。流程分開呈現代理存取、帳號驗證、分散路由、取得推論回覆及後續模型訓練。供應商端的威脅調查與經驗證限制,須在輸出送出前作用;缺少防護的模型可能造成哪些傷害,維持為 Anthropic 的風險研判,不能當成已觀察到的下游受害者統計。

關聯理由: 在Anthropic 報告的 DeepSeek、Moonshot AI 與 MiniMax 活動中,回覆查詢與後續訓練,目的是重建特定模型行為。 已確認的目標是能力複製;未主張架構推論、參數取回或模型完全相同。

Anthropic 報告的 DeepSeek、Moonshot AI 與 MiniMax 活動;區分能力蒸餾與竊取原始權重。約 24,000 個帳號與 1,600 萬次互動,不是取回權重或已觀察下游傷害的數量;潛在傷害維持為 Anthropic 研判,未建立 agent 部署。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

混淆防毒神經網路的判定

雲端儲存與雲端運算,已成為部署機器學習惡意程式偵測器的熱門方式。在這種架構下,模型所需的特徵是在使用者系統上產生,再送到資安公司的伺服器。卡巴斯基的機器學習研究團隊研究了這種灰箱情境,並證明只要掌握特徵的知識,就足以對機器學習模型發動對抗式攻擊。 他們在沒有白箱存取權的情況下,攻擊了卡巴斯基自家的一個防毒機器學習模型,並讓大多數經過對抗式改造的惡意程式檔案,都成功躲過偵測。

關聯理由: 已知特徵足以調整惡意檔案並規避模型。 研究者先讓雲端偵測模型掃描資料集,以其預測結果訓練代理模型,再逆向分析本機特徵擷取元件,將對抗檔案轉用於目標。雲端模型本身仍是無法直接查看內部實作的黑箱。 完整系統屬於部分資訊可知的情境,因為研究者分析了本機特徵擷取元件。此處只對應雲端模型查詢邊界,以及用預測結果訓練的替代模型;沒有還原原始權重或精確架構。

已知特徵足以調整惡意檔案並規避模型。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

ProofPoint 郵件防護遭規避

Proof Pudding(CVE-2019-20634)是一個程式碼儲存庫,記錄了機器學習研究人員如何規避 ProofPoint 的郵件防護系統:他們先做出一個模仿版的郵件防護機器學習模型,再用從中得到的線索去繞過線上的正式系統。更具體地說,這些線索讓研究人員能寫出可以拿到偏高評分的惡意郵件,使系統偵測不到。這套系統會依多個變數為郵件中的每個字給出數值評分,如果整封郵件的總分太低,ProofPoint 就會回傳錯誤,把它標記為垃圾郵件。

關聯理由: 先建立替代偵測模型,再調整郵件規避正式系統。 此處對應「模型擷取」:攻擊者擷取模型架構或參數的資訊,常見做法是向機器學習服務提交特別設計的查詢,也可能利用旁通道資訊。

先建立替代偵測模型,再調整郵件規避正式系統。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

針對機器翻譯服務的攻擊

機器翻譯服務(例如 Google 翻譯、Bing Translator 與 Systran Translate)都對外提供網頁介面與 API。加州大學柏克萊分校的一個研究團隊,就利用這些公開端點,複製出一個翻譯品質接近正式環境水準的模型。除了證明智慧財產可以從一個黑箱系統中被實質竊走之外,他們還用這個複製出來的模型,成功把對抗樣本轉移到真正的正式服務上。這些對抗式輸入在 Google 翻譯與 Systran Translate 網站上,成功造成了指定字詞被替換、輸出粗俗內容,以及整句被略過等結果。

關聯理由: 利用翻譯端點建立替代模型,再轉移對抗樣本。 此處對應「模型擷取」:攻擊者擷取模型架構或參數的資訊,常見做法是向機器學習服務提交特別設計的查詢,也可能利用旁通道資訊。

利用翻譯端點建立替代模型,再轉移對抗樣本。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

GPUBreach:GPU 記憶體故障可越過模型下方的隔離邊界

GPUBreach 研究者在 NVIDIA RTX A6000 上,以沒有特權的 CUDA 程式反覆存取記憶體,誘發位元翻轉 (bit flip,某個位元的值從 0 變成 1,或從 1 變成 0),進而破壞 GPU 分頁表 (page table,記錄程式記憶體位址如何對應到實體記憶體的資料表);這類硬體攻擊稱為 Rowhammer。受控示範包含跨程序 GPU 存取、LLM 權重外洩,以及另一條在 IOMMU 啟用時仍可取得 CPU root 的驅動程式路徑。AI 部署方可採取的防禦,是避免機敏工作與不可信 GPU 程式共用故障範圍。

關聯理由: 未授權參數存取暴露模型的機密實作。 這是直接 GPU 記憶體竊取,不是透過 API 複製功能,也未展示每個模型參數均被複製。

受控 GPU 分頁表破壞與另一條 CPU 驅動提權;模型權重竊取不是訓練資料推論。

AIA · 閱讀完整案例 ↗

Validated Research ·

Google 相簿 AI 模型遭萃取

Skyld 的研究人員分析了 Google 相簿的 Android 應用程式,並取出其中支撐 AI 照片編輯與影像分析功能的 TensorFlow Lite 模型。研究人員發現,這些模型分別以未加密的形式放在應用程式資產中、內嵌在原生函式庫裡,以及以加密形式存放在磁碟上。他們用靜態逆向工程找出 TFLite 成品,再用 Frida 做動態插樁,在執行期解密之後把加密的模型攔截下來。取回這些模型之後,研究人員等於取得了 Google 相簿專有模型成品的白箱存取權。

關聯理由: 靜態逆向工程與解密後的執行時攔截,讓模型架構與參數暴露。

靜態分析 APK/原生程式庫,以及執行時攔截,都能取得模型檔案。已展示的結果是取得模型;後續規避攻擊仍是可能影響。

SecureFlow · 閱讀完整案例 ↗

Exercise · · 實務關聯

Microsoft Azure 服務中斷演練

微軟的 AI 紅隊針對一項內部 Azure 服務進行紅隊演練,目標是讓該服務中斷。這次行動同時用上了傳統的 ATT&CK 企業環境手法,例如找出可用的有效帳號、把資料外傳,並在其中穿插了對抗式機器學習專屬的步驟,包括離線與線上的規避樣本。

關聯理由: 紅隊案例結合傳統入侵及對抗 ML,不推論其他未述機制。 團隊在離線開發攻擊前先傳出目標模型檔,取得的是模型資產,不只是模型預測結果。 實務交集是直接竊取模型檔,造成模型機密性損失;來源沒有驗證透過查詢還原參數,或透過蒸餾複製功能。

紅隊案例結合傳統入侵及對抗 ML,不推論其他未述機制。

SecureFlow · 閱讀完整案例 ↗