AML.T0043.002 · Black-Box Transfer

閱讀 MITRE ATLAS 中 AML.T0043.002「Black-Box Transfer」相關的 3 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

In Black-Box Transfer attacks, the adversary uses one or more proxy models (trained via [Create Proxy AI Model](/techniques/AML.T0005) or [Train Proxy via Replication](/techniques/AML.T0005.001)) they have full access to and are representative of the target model. The adversary uses [White-Box Optimization](/techniques/AML.T0043.000) on the proxy models to generate adversarial examples. If the set of proxy models are close enough to the target model, the adversarial example should generalize from one to another. This means that an attack that works for the proxy models will likely then work for the target model. If the adversary has [AI Model Inference API Access](/techniques/AML.T0040), they may use [Verify Attack](/techniques/AML.T0042) to confirm the attack is working and incorporate that information into their training process.

框架官方來源 ↗ · 開啟互動探索 ↗

Validated Research ·

混淆防毒神經網路的判定

雲端儲存與雲端運算,已成為部署機器學習惡意程式偵測器的熱門方式。在這種架構下,模型所需的特徵是在使用者系統上產生,再送到資安公司的伺服器。卡巴斯基的機器學習研究團隊研究了這種灰箱情境,並證明只要掌握特徵的知識,就足以對機器學習模型發動對抗式攻擊。 他們在沒有白箱存取權的情況下,攻擊了卡巴斯基自家的一個防毒機器學習模型,並讓大多數經過對抗式改造的惡意程式檔案,都成功躲過偵測。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

ProofPoint 郵件防護遭規避

Proof Pudding(CVE-2019-20634)是一個程式碼儲存庫,記錄了機器學習研究人員如何規避 ProofPoint 的郵件防護系統:他們先做出一個模仿版的郵件防護機器學習模型,再用從中得到的線索去繞過線上的正式系統。更具體地說,這些線索讓研究人員能寫出可以拿到偏高評分的惡意郵件,使系統偵測不到。這套系統會依多個變數為郵件中的每個字給出數值評分,如果整封郵件的總分太低,ProofPoint 就會回傳錯誤,把它標記為垃圾郵件。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

針對機器翻譯服務的攻擊

機器翻譯服務(例如 Google 翻譯、Bing Translator 與 Systran Translate)都對外提供網頁介面與 API。加州大學柏克萊分校的一個研究團隊,就利用這些公開端點,複製出一個翻譯品質接近正式環境水準的模型。除了證明智慧財產可以從一個黑箱系統中被實質竊走之外,他們還用這個複製出來的模型,成功把對抗樣本轉移到真正的正式服務上。這些對抗式輸入在 Google 翻譯與 Systran Translate 網站上,成功造成了指定字詞被替換、輸出粗俗內容,以及整句被略過等結果。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗