Validated Research ·
雲端儲存與雲端運算,已成為部署機器學習惡意程式偵測器的熱門方式。在這種架構下,模型所需的特徵是在使用者系統上產生,再送到資安公司的伺服器。卡巴斯基的機器學習研究團隊研究了這種灰箱情境,並證明只要掌握特徵的知識,就足以對機器學習模型發動對抗式攻擊。 他們在沒有白箱存取權的情況下,攻擊了卡巴斯基自家的一個防毒機器學習模型,並讓大多數經過對抗式改造的惡意程式檔案,都成功躲過偵測。
關聯理由: 已知特徵足以調整惡意檔案並規避模型。 此處對應「黑箱攻擊」:攻擊者透過公開或遭入侵的模型服務介面測試模型,不需要直接知道內部實作。
已知特徵足以調整惡意檔案並規避模型。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Proof Pudding(CVE-2019-20634)是一個程式碼儲存庫,記錄了機器學習研究人員如何規避 ProofPoint 的郵件防護系統:他們先做出一個模仿版的郵件防護機器學習模型,再用從中得到的線索去繞過線上的正式系統。更具體地說,這些線索讓研究人員能寫出可以拿到偏高評分的惡意郵件,使系統偵測不到。這套系統會依多個變數為郵件中的每個字給出數值評分,如果整封郵件的總分太低,ProofPoint 就會回傳錯誤,把它標記為垃圾郵件。
關聯理由: 先建立替代偵測模型,再調整郵件規避正式系統。 此處對應「黑箱攻擊」:攻擊者透過公開或遭入侵的模型服務介面測試模型,不需要直接知道內部實作。
先建立替代偵測模型,再調整郵件規避正式系統。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
機器翻譯服務(例如 Google 翻譯、Bing Translator 與 Systran Translate)都對外提供網頁介面與 API。加州大學柏克萊分校的一個研究團隊,就利用這些公開端點,複製出一個翻譯品質接近正式環境水準的模型。除了證明智慧財產可以從一個黑箱系統中被實質竊走之外,他們還用這個複製出來的模型,成功把對抗樣本轉移到真正的正式服務上。這些對抗式輸入在 Google 翻譯與 Systran Translate 網站上,成功造成了指定字詞被替換、輸出粗俗內容,以及整句被略過等結果。
關聯理由: 利用翻譯端點建立替代模型,再轉移對抗樣本。 此處對應「黑箱攻擊」:攻擊者透過公開或遭入侵的模型服務介面測試模型,不需要直接知道內部實作。
利用翻譯端點建立替代模型,再轉移對抗樣本。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Xint 測試了 OpenAI API 的對話壓縮功能,也就是把先前工作整理成後續模型可接續使用的內容。研究者利用可由用戶端指定的壓縮指示,將 gpt-5.6-sol 受保護的推理內容轉存為加密壓縮項目,再交給 gpt-4.1 或 gpt-4o 回傳可讀文字。這是以研究者自己的題目進行的受控 API 測試,未展示竊取其他使用者的對話。Xint 表示,問題已於 2026 年 10 月 23 日以未公開細節的方式修補。
關聯理由: 擷取示範利用公開 API 行為,不需要模型權重或原始推理明文。
透過用戶端控制的同模型壓縮與較舊接收模型 API,受控擷取提供者保護的推理內容;沒有展示自主 agent 部署、竊取客戶對話或訓練模型副本。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Incident ·
攻擊者會製作外觀與正版網站高度相似的釣魚網站,誘使使用者輸入帳號密碼,再把這些憑證送回攻擊者手上。為了對抗這種行為,資安廠商在端點防護產品中採用 AI/ML 方法偵測並封鎖釣魚網站。 在這起事件中,研究人員在一套商用 ML 釣魚網頁偵測系統的記錄裡,發現了對抗樣本(adversarial example,特意修改過、用來讓模型判斷錯誤的輸入)。這套偵測系統由一組影像分類器(classifier)各自負責不同的釣魚特徵,例如外觀相似度與輸入表單偵測,再依綜合出來的「釣魚分數」自動決定封鎖或放行。這些對抗樣本用了幾種簡單但有效的手法,以人工方式修改品牌標誌,試圖騙過影像分類模型。採用標誌修改手法的釣魚網站,確實成功騙過了負責以外觀相似度偵測品牌仿冒的那個模型;不過系統中的其他元件仍然成功把這些釣魚網站標記出來。
關聯理由: 品牌圖像變形規避一個模型;其他偵測元件仍成功攔截。 此處對應「黑箱攻擊」:攻擊者透過公開或遭入侵的模型服務介面測試模型,不需要直接知道內部實作。
品牌圖像變形規避一個模型;其他偵測元件仍成功攔截。
SecureFlow · 閱讀完整案例 ↗
Exercise ·
Palo Alto Networks 的 Security AI 研究團隊測試了一個用來從 HTTP 流量中偵測惡意程式命令與控制(C&C)通訊的深度學習模型。我們依據 Le 等人的公開論文(https://arxiv.org/abs/1802.03162),建立了一個模型,訓練資料與我們正式環境的模型相近,表現也相當。接著我們製作對抗樣本、向模型送出查詢,再依回應逐步調整樣本,直到成功規避該模型為止。
關聯理由: 對 HTTP 流量的受控查詢與調整規避偵測模型。 此處對應「黑箱攻擊」:攻擊者透過公開或遭入侵的模型服務介面測試模型,不需要直接知道內部實作。
對 HTTP 流量的受控查詢與調整規避偵測模型。
SecureFlow · 閱讀完整案例 ↗