AI SECURITY CASES × FRAMEWORKS
NISTAML.025 · 黑箱規避攻擊
閱讀 NIST Adversarial ML (2025) 中 NISTAML.025「黑箱規避攻擊」相關的 4 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明
攻擊者事先不知道目標模型的架構或訓練資料,仍透過查詢模型設計規避輸入。回傳的信心分數,甚至只有最終預測標籤,都可能被用來逐步尋找有效的對抗樣本。這類攻擊透過對外介面利用推論行為,不需要直接取得模型參數。
框架官方來源 ↗ · 開啟互動探索 ↗
Validated Research · · 實務關聯
雲端儲存與雲端運算,已成為部署機器學習惡意程式偵測器的熱門方式。在這種架構下,模型所需的特徵是在使用者系統上產生,再送到資安公司的伺服器。卡巴斯基的機器學習研究團隊研究了這種灰箱情境,並證明只要掌握特徵的知識,就足以對機器學習模型發動對抗式攻擊。 他們在沒有白箱存取權的情況下,攻擊了卡巴斯基自家的一個防毒機器學習模型,並讓大多數經過對抗式改造的惡意程式檔案,都成功躲過偵測。
關聯理由: 已知特徵足以調整惡意檔案並規避模型。 研究者先讓雲端偵測模型掃描資料集,以其預測結果訓練代理模型,再逆向分析本機特徵擷取元件,將對抗檔案轉用於目標。雲端模型本身仍是無法直接查看內部實作的黑箱。 完整系統屬於部分資訊可知的情境,因為研究者分析了本機特徵擷取元件。此處只對應雲端模型查詢邊界,以及用預測結果訓練的替代模型;沒有還原原始權重或精確架構。
已知特徵足以調整惡意檔案並規避模型。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Proof Pudding(CVE-2019-20634)是一個程式碼儲存庫,記錄了機器學習研究人員如何規避 ProofPoint 的郵件防護系統:他們先做出一個模仿版的郵件防護機器學習模型,再用從中得到的線索去繞過線上的正式系統。更具體地說,這些線索讓研究人員能寫出可以拿到偏高評分的惡意郵件,使系統偵測不到。這套系統會依多個變數為郵件中的每個字給出數值評分,如果整封郵件的總分太低,ProofPoint 就會回傳錯誤,把它標記為垃圾郵件。
關聯理由: 先建立替代偵測模型,再調整郵件規避正式系統。 此處對應「黑箱規避攻擊」:攻擊者事先不知道目標模型的架構或訓練資料,仍透過查詢模型設計規避輸入。
先建立替代偵測模型,再調整郵件規避正式系統。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
機器翻譯服務(例如 Google 翻譯、Bing Translator 與 Systran Translate)都對外提供網頁介面與 API。加州大學柏克萊分校的一個研究團隊,就利用這些公開端點,複製出一個翻譯品質接近正式環境水準的模型。除了證明智慧財產可以從一個黑箱系統中被實質竊走之外,他們還用這個複製出來的模型,成功把對抗樣本轉移到真正的正式服務上。這些對抗式輸入在 Google 翻譯與 Systran Translate 網站上,成功造成了指定字詞被替換、輸出粗俗內容,以及整句被略過等結果。
關聯理由: 利用翻譯端點建立替代模型,再轉移對抗樣本。 此處對應「黑箱規避攻擊」:攻擊者事先不知道目標模型的架構或訓練資料,仍透過查詢模型設計規避輸入。
利用翻譯端點建立替代模型,再轉移對抗樣本。
SecureFlow · 閱讀完整案例 ↗
Exercise ·
Palo Alto Networks 的 Security AI 研究團隊測試了一個用來從 HTTP 流量中偵測惡意程式命令與控制(C&C)通訊的深度學習模型。我們依據 Le 等人的公開論文(https://arxiv.org/abs/1802.03162),建立了一個模型,訓練資料與我們正式環境的模型相近,表現也相當。接著我們製作對抗樣本、向模型送出查詢,再依回應逐步調整樣本,直到成功規避該模型為止。
關聯理由: 對 HTTP 流量的受控查詢與調整規避偵測模型。 此處對應「黑箱規避攻擊」:攻擊者事先不知道目標模型的架構或訓練資料,仍透過查詢模型設計規避輸入。
對 HTTP 流量的受控查詢與調整規避偵測模型。
SecureFlow · 閱讀完整案例 ↗