AML.T0017.000 · Adversarial AI Attacks

閱讀 MITRE ATLAS 中 AML.T0017.000「Adversarial AI Attacks」相關的 5 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

Adversaries may develop their own adversarial attacks. They may leverage existing libraries as a starting point ([Adversarial AI Attack Implementations](/techniques/AML.T0016.000)). They may implement ideas described in public research papers or develop custom made attacks for the victim model.

框架官方來源 ↗ · 開啟互動探索 ↗

Validated Research ·

混淆防毒神經網路的判定

雲端儲存與雲端運算,已成為部署機器學習惡意程式偵測器的熱門方式。在這種架構下,模型所需的特徵是在使用者系統上產生,再送到資安公司的伺服器。卡巴斯基的機器學習研究團隊研究了這種灰箱情境,並證明只要掌握特徵的知識,就足以對機器學習模型發動對抗式攻擊。 他們在沒有白箱存取權的情況下,攻擊了卡巴斯基自家的一個防毒機器學習模型,並讓大多數經過對抗式改造的惡意程式檔案,都成功躲過偵測。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

針對行動 App 中深度學習模型的後門攻擊

深度學習模型越來越常成為行動應用程式中的關鍵元件。微軟研究院的研究人員示範了,許多部署在行動 App 裡的深度學習模型,都可能被「神經負載注入」(neural payload injection)這種手法植入後門。他們針對從 Google Play 蒐集來的真實行動深度學習 App 做了實證研究,找出 54 個會受到這種攻擊影響的 App,其中包括用於鈔票辨識、家長監護、人臉驗證與金融服務等安全至關重要的熱門應用程式。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

惡意 GGUF 對話範本不改模型權重,也能在推論時植入後門

Pillar Security 與 Fujitsu 的研究人員證實,攻擊者不必修改模型權重,只要竄改 GGUF(常見的量化模型封裝格式)裡的 Jinja 對話範本(用來組合模型提示詞的範本程式),就能在特定條件出現時,把攻擊指令插進系統層級的上下文。研究人員在受控測試環境中發現這種後門不只改變模型輸出,也挾持了 BrowserUse 與 OpenHands 的工具操作(例如:在模擬購物網站的測試中,結帳內容出現 Card Number 與 CVV 時,後門讓 agent 將合成付款資料傳到研究者的本機接收端)。防禦方必須把對話範本視為含有可執行邏輯的釋出成品,驗證完整內容與來源、測試每次格式轉換,並在模型之外限制工具權限和機敏資料去向。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Exercise ·

規避殭屍網路的網域生成演算法(DGA)偵測

Palo Alto Networks 的 Security AI 研究團隊用一套通用的網域名稱變形手法,成功繞過一個以卷積神經網路(CNN)為基礎的殭屍網路 DGA 偵測器。DGA(Domain Generation Algorithm,網域生成演算法)是殭屍網路用來自動產生大量命令與控制網域的做法。這套通用變形手法可以規避大多數以 ML 為基礎的 DGA 偵測模組,也可以拿來測試業界資安公司開發的各種 DGA 偵測方法,在部署到正式環境之前,先檢驗它們的有效性與穩健性。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗