AML.T0043.003 · Manual Modification

閱讀 MITRE ATLAS 中 AML.T0043.003「Manual Modification」相關的 3 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

Adversaries may manually modify the input data to craft adversarial data. They may use their knowledge of the target model to modify parts of the data they suspect helps the model in performing its task. The adversary may use trial and error until they are able to verify they have a working adversarial input.

框架官方來源 ↗ · 開啟互動探索 ↗

Incident ·

試圖規避 ML 釣魚網頁偵測系統

攻擊者會製作外觀與正版網站高度相似的釣魚網站,誘使使用者輸入帳號密碼,再把這些憑證送回攻擊者手上。為了對抗這種行為,資安廠商在端點防護產品中採用 AI/ML 方法偵測並封鎖釣魚網站。 在這起事件中,研究人員在一套商用 ML 釣魚網頁偵測系統的記錄裡,發現了對抗樣本(adversarial example,特意修改過、用來讓模型判斷錯誤的輸入)。這套偵測系統由一組影像分類器(classifier)各自負責不同的釣魚特徵,例如外觀相似度與輸入表單偵測,再依綜合出來的「釣魚分數」自動決定封鎖或放行。這些對抗樣本用了幾種簡單但有效的手法,以人工方式修改品牌標誌,試圖騙過影像分類模型。採用標誌修改手法的釣魚網站,確實成功騙過了負責以外觀相似度偵測品牌仿冒的那個模型;不過系統中的其他元件仍然成功把這些釣魚網站標記出來。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Exercise ·

規避惡意程式 C&C 流量的深度學習偵測器

Palo Alto Networks 的 Security AI 研究團隊測試了一個用來從 HTTP 流量中偵測惡意程式命令與控制(C&C)通訊的深度學習模型。我們依據 Le 等人的公開論文(https://arxiv.org/abs/1802.03162),建立了一個模型,訓練資料與我們正式環境的模型相近,表現也相當。接著我們製作對抗樣本、向模型送出查詢,再依回應逐步調整樣本,直到成功規避該模型為止。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗