AML.T0016.002 · Generative AI

閱讀 MITRE ATLAS 中 AML.T0016.002「Generative AI」相關的 4 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

Adversaries may search for and obtain generative AI models or tools, such as large language models (LLMs), to assist them in various steps of their operation. Generative AI can be used in a variety of malicious ways, such as to generate malware, to [Generate Deepfakes](/techniques/AML.T0088), to [Generate Malicious Commands](/techniques/AML.T0102), for [Retrieval Content Crafting](/techniques/AML.T0066), or to generate [Phishing](/techniques/AML.T0052) content. Adversaries may obtain open source models and serve them locally using frameworks such as [Ollama](https://ollama.com/) or [vLLM]( https://docs.vllm.ai/en/latest/). They may host them using cloud infrastructure. Or, they may leverage AI service providers such as HuggingFace. They may need to jailbreak the model (see [LLM Jailbreak](/techniques/AML.T0054)) to bypass any restrictions put in place to limit the types of responses it can generate. They may also need to break the terms of service of the model's developer. Generative AI models may also be "uncensored" meaning they are designed to generate content without any restrictions such as guardrails or content filters. Uncensored GenAI is ripe for abuse by cybercriminals [[blog]] [[gbhackers]]. Models may be fine-tuned to remove alignment and guardrails [[erichartford]] or be subjected to targeted manipulations to bypass refusal [[arxiv]] resulting in uncensored variants of the model. Uncensored models may be built for offensive and defensive cybersecurity [[taico]], which can be abused by an adversary. There are also models that are expressly designed and advertised for malicious use [[gbhackers-1]].

框架官方來源 ↗ · 開啟互動探索 ↗

Exercise ·

以即時深偽影像注入規避行動裝置的 KYC 驗證

行動應用程式常用臉部生物辨識驗證服務,來完成使用者開通、身分驗證,以及 KYC(認識你的客戶)法遵要求。iProov 紅隊示範了一種換臉影像注入攻擊,能在行動裝置上成功規避即時人臉辨識驗證模型,連被動與主動的活體驗證(https://en.wikipedia.org/wiki/Liveness_test)也一併繞過。攻擊者若使用這種手法,就可能取得受害者具權限系統的存取權,或捏造假身分,在銀行或加密貨幣 App 上開立假帳號。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Incident ·

ProKYC:用於帳號詐騙的深偽工具

Cato CTRL 的資安研究人員發現了 ProKYC,一款賣給網路犯罪者的深偽工具,用來繞過加密貨幣交易所等金融服務應用程式的 KYC(認識你的客戶)驗證。ProKYC 可以做出假的身分證明文件,也能產生深偽自拍影片,而這兩樣正是 KYC 驗證會用到的關鍵生物特徵資料。這個工具幫助網路犯罪者擊敗人臉辨識與活體檢查,藉此開出詐騙帳號。 下面的流程說明惡意行為者可以如何利用 ProKYC 的服務,繞過 KYC 驗證。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Incident ·

DeepSeek 驅動 Hermes Agent 嘗試入侵 Langflow 與 n8n:已記錄的嘗試未得手

一名使用中文、化名 knaithe 或 KnYuan 的攻擊者,把 Hermes Agent(一套通用 agent 框架,本案被用來執行攻擊任務)設定成以 DeepSeek(商用大型語言模型)作為推理引擎。Hermes 提供終端機存取、透過 Telegram 操控,以及一套 skill 系統,裡面同時有框架內建與攻擊者自製的紅隊 skill。攻擊者還接上一個 MCP server(Model Context Protocol,讓 agent 呼叫外部工具的介面),對外開放 FOFA(用來搜尋網際網路上曝露資產的服務)查詢、查詢語句翻譯,以及 Nuclei(開源漏洞掃描工具)掃描腳本產生等能力。 Palo Alto Networks 旗下的 Unit 42 取得了一份 2026 年 5 月 7 日、內容詳細的 Hermes Agent 執行工作階段記錄。攻擊者透過 Telegram 下達初始任務,之後 Unit 42 在整段工作階段中沒有再找到任何操作者輸入。接下來,由 DeepSeek 驅動的 Hermes Agent 就自主尋找目標、取得公開的漏洞利用程式、執行掃描、評估結果,並調整做法。 agent 一開始鎖定 Langflow(用來建立 LLM/AI 應用與工作流程的開源低程式碼平台;本案針對的是它對外開放的服務),使用 CVE-2026-33017(CVE 是公開資安漏洞的識別編號)的公開漏洞利用程式。它判斷可用的目標都不符合這支程式所需的前提條件後,就放棄這條路,跨 10 個產品家族比較漏洞,再依嚴重度、曝露程度與可利用性挑中 n8n(開源的工作流程自動化平台)。接著它取得串接 CVE-2026-21858 與 CVE-2025-68613 的公開漏洞利用鏈,並探測透過 FOFA 找到的候選系統。雖然有幾個系統看起來執行受影響的版本,agent 卻發現它們並不具備所需的未驗證檔案上傳功能。所有自主漏洞利用嘗試都沒有取得任何存取權。 另有工作區證據記錄了攻擊者的人工操作,包括對 Citrix NetScaler 抽取資料、在 Marimo 上執行命令,以及對 Tomcat 與 IKE VPN 系統嘗試建立反向 shell。 Unit 42 之所以能看到這些內容,是因為 Hermes Agent 回應一個 Telegram 命令時,直接從攻擊者的家目錄 /home/worker 啟動了一個 HTTP 檔案伺服器,而不是用隔離的暫存目錄。這個失誤把攻擊者的整個工作區意外曝露出來,包括 AI 工具設定、API key、漏洞利用腳本、目標清單、Bash 歷史紀錄,以及自主漏洞利用的工作階段記錄。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

AI ClickFix:用 ClickFix 手法挾持 computer-use agent

Embrace the Red(https://embracethered.com/)示範了 AI 的 computer-use agent 也會被社交工程手法攻擊,而且可以被操弄成在受害者電腦上執行任意程式碼。這個攻擊是「ClickFix」的變形,而 ClickFix 原本是一種騙人類自己複製惡意命令並執行的社交工程手法。 研究人員用 ChatGPT 產生了一個網站,專門設計來吸引 computer-use agent 和它互動。當使用者請自己的 Claude Computer-Use Agent 造訪這個網站時,頁面上「Are you a computer? Please see instructions to confirm:」這段文字,就讓 agent 去點了對應的按鈕。這個動作會執行 JavaScript,把一段惡意命令複製到 agent 的剪貼簿中。接著 agent 就照著頁面上的指示,開啟終端機、貼上那段惡意命令並執行。這道命令會從研究人員的網站下載一個腳本並執行它。在示範中,這個腳本只是打開受害者的小算盤,但在實際情境中,攻擊者可以執行任意程式碼,把受害者的系統整台拿下。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗