混淆防毒神經網路的判定
雲端儲存與雲端運算,已成為部署機器學習惡意程式偵測器的熱門方式。在這種架構下,模型所需的特徵是在使用者系統上產生,再送到資安公司的伺服器。卡巴斯基的機器學習研究團隊研究了這種灰箱情境,並證明只要掌握特徵的知識,就足以對機器學習模型發動對抗式攻擊。 他們在沒有白箱存取權的情況下,攻擊了卡巴斯基自家的一個防毒機器學習模型,並讓大多數經過對抗式改造的惡意程式檔案,都成功躲過偵測。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
AI SECURITY CASES × FRAMEWORKS
閱讀 MITRE ATLAS 中 AML.T0017.000「Adversarial AI Attacks」相關的 5 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
Adversaries may develop their own adversarial attacks. They may leverage existing libraries as a starting point ([Adversarial AI Attack Implementations](/techniques/AML.T0016.000)). They may implement ideas described in public research papers or develop custom made attacks for the victim model.
雲端儲存與雲端運算,已成為部署機器學習惡意程式偵測器的熱門方式。在這種架構下,模型所需的特徵是在使用者系統上產生,再送到資安公司的伺服器。卡巴斯基的機器學習研究團隊研究了這種灰箱情境,並證明只要掌握特徵的知識,就足以對機器學習模型發動對抗式攻擊。 他們在沒有白箱存取權的情況下,攻擊了卡巴斯基自家的一個防毒機器學習模型,並讓大多數經過對抗式改造的惡意程式檔案,都成功躲過偵測。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
深度學習模型越來越常成為行動應用程式中的關鍵元件。微軟研究院的研究人員示範了,許多部署在行動 App 裡的深度學習模型,都可能被「神經負載注入」(neural payload injection)這種手法植入後門。他們針對從 Google Play 蒐集來的真實行動深度學習 App 做了實證研究,找出 54 個會受到這種攻擊影響的 App,其中包括用於鈔票辨識、家長監護、人臉驗證與金融服務等安全至關重要的熱門應用程式。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
Pillar Security 與 Fujitsu 的研究人員證實,攻擊者不必修改模型權重,只要竄改 GGUF(常見的量化模型封裝格式)裡的 Jinja 對話範本(用來組合模型提示詞的範本程式),就能在特定條件出現時,把攻擊指令插進系統層級的上下文。研究人員在受控測試環境中發現這種後門不只改變模型輸出,也挾持了 BrowserUse 與 OpenHands 的工具操作(例如:在模擬購物網站的測試中,結帳內容出現 Card Number 與 CVV 時,後門讓 agent 將合成付款資料傳到研究者的本機接收端)。防禦方必須把對話範本視為含有可執行邏輯的釋出成品,驗證完整內容與來源、測試每次格式轉換,並在模型之外限制工具權限和機敏資料去向。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
Skylight 的研究人員做出了一段通用的繞過字串,只要把它接在惡意檔案後面,就能讓 Cylance 的 AI 惡意程式偵測器偵測不到。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
Palo Alto Networks 的 Security AI 研究團隊用一套通用的網域名稱變形手法,成功繞過一個以卷積神經網路(CNN)為基礎的殭屍網路 DGA 偵測器。DGA(Domain Generation Algorithm,網域生成演算法)是殭屍網路用來自動產生大量命令與控制網域的做法。這套通用變形手法可以規避大多數以 ML 為基礎的 DGA 偵測模組,也可以拿來測試業界資安公司開發的各種 DGA 偵測方法,在部署到正式環境之前,先檢驗它們的有效性與穩健性。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。