混淆防毒神經網路的判定
雲端儲存與雲端運算,已成為部署機器學習惡意程式偵測器的熱門方式。在這種架構下,模型所需的特徵是在使用者系統上產生,再送到資安公司的伺服器。卡巴斯基的機器學習研究團隊研究了這種灰箱情境,並證明只要掌握特徵的知識,就足以對機器學習模型發動對抗式攻擊。 他們在沒有白箱存取權的情況下,攻擊了卡巴斯基自家的一個防毒機器學習模型,並讓大多數經過對抗式改造的惡意程式檔案,都成功躲過偵測。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
AI SECURITY CASES × FRAMEWORKS
閱讀 MITRE ATLAS 中 AML.T0005「Create Proxy AI Model」相關的 3 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
Adversaries may obtain models to serve as proxies for the target model in use at the victim organization. Proxy models are used to simulate complete access to the target model in a fully offline manner. Adversaries may train models from representative datasets, attempt to replicate models from victim inference APIs, or use available pre-trained models.
雲端儲存與雲端運算,已成為部署機器學習惡意程式偵測器的熱門方式。在這種架構下,模型所需的特徵是在使用者系統上產生,再送到資安公司的伺服器。卡巴斯基的機器學習研究團隊研究了這種灰箱情境,並證明只要掌握特徵的知識,就足以對機器學習模型發動對抗式攻擊。 他們在沒有白箱存取權的情況下,攻擊了卡巴斯基自家的一個防毒機器學習模型,並讓大多數經過對抗式改造的惡意程式檔案,都成功躲過偵測。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
MITRE 的 AI 紅隊對一項商用人臉辨識服務,示範了實體世界中的規避攻擊,目標是誘導出特定的錯誤辨識結果。這次行動同時用上了傳統的 MITRE ATT&CK 手法,例如找出可用的有效帳號、透過 API 執行程式碼,並在其中穿插了對抗式機器學習專屬的攻擊。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
Palo Alto Networks 的 Security AI 研究團隊測試了一個用來從 HTTP 流量中偵測惡意程式命令與控制(C&C)通訊的深度學習模型。我們依據 Le 等人的公開論文(https://arxiv.org/abs/1802.03162),建立了一個模型,訓練資料與我們正式環境的模型相近,表現也相當。接著我們製作對抗樣本、向模型送出查詢,再依回應逐步調整樣本,直到成功規避該模型為止。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。