風險分類說明 Adversaries may gain access to a model via legitimate access to the inference API. Inference API access can be a source of information to the adversary ([Discover AI Model Ontology](/techniques/AML.T0013), [Discover AI Model Family](/techniques/AML.T0014)), a means of staging the attack ([Verify Attack](/techniques/AML.T0042), [Craft Adversarial Data](/techniques/AML.T0043)), or for introducing data to the target system for Impact ([Evade AI Model](/techniques/AML.T0015), [Erode AI Model Integrity](/techniques/AML.T0031)). Many systems rely on the same models provided via an inference API, which means they share the same vulnerabilities. This is especially true of foundation models which are prohibitively resource intensive to train. Adversaries may use their access to model APIs to identify vulnerabilities such as jailbreaks or hallucinations and then target applications that use the same models.
框架官方來源 ↗ · 開啟互動探索 ↗
Validated Research · 2026-11-17
NVISO Labs 研究員 Tanguy Snoeck 揭露了一項影響 LiteLLM(用來統一串接與轉送多個語言模型 API 的代理閘道)的語意快取漏洞,公開資安漏洞識別編號為 CVE-2026-89032;這個問題在 v1.99.0 的受控環境獲得驗證,並已在 v1.101.0-rc.1 修補。相較於一般精確快取需要提示詞完全一模一樣才會命中,「語意快取(semantic cache)」會把提問轉成代表語意的向量嵌入(embeddings),只要後續提問的語意夠相近,就直接重用先前的模型輸出。照設計,LiteLLM 應該按 API 金鑰把快取空間分開,但在受影響版本開啟 redis-semantic 且透過 /v1/responses 呼叫時,不同 API 金鑰的請求卻會讀寫到同一區。研究團隊把相似度門檻設為 0.2 以便觀察命中,成功驗證了四種跨使用者後果:讓其他使用者讀到含測試個資的客服摘要、收到虛構的 449.99 美元促銷價、在設定成免人工核准的模擬 MCP 銀行執行非預期的轉帳(原本要求轉 50 美元,實際送給模擬工具的卻變成先前快取的 1,000 美元且收款對象也不同),以及在 pi 程式開發 Agent(v0.45.3)觸發本機 Shell 執行等狀況。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Incident · 2026-11-17
Google 威脅情資團隊(GTIG)與 Mandiant 彙整 2026 年在北美、南美與亞太地區處理的多起第一線事件應變調查,揭露了 LLMJacking(大型語言模型算力劫持)的常見手法,以及下游如何把盜來的推論額度包裝轉售。在部分案件中,受害組織單日遭盜刷的雲端 LLM 費用就超過 10 萬美元。不同案件採用的入侵入口各異,包括外洩的雲端或模型金鑰、對外開放的 Ollama 服務,以及 UNC6993 的工作階段釣魚。進入受影響的雲端環境後,有些案件的攻擊者會清查模型配額、從資料倉儲中繼資料裡翻找資料庫密碼,或冒用服務帳號讀取雲端機密。GTIG 另記錄到後續攻擊群組取得已驗證可用的 LiteLLM 虛擬金鑰後,提升 AI 閘道管理權限的案例。GTIG 引用的 CVE(公開資安漏洞的識別編號)在原廠公告中指向另一項漏洞;v1.83.14-stable 雖已包含該 CVE 的修補,重發金鑰時仍缺少變更所有權的授權檢查,這項修補另納入 v1.84.0。在另一個涉及「LLM 混幣器」Jet Night 的案件中,這套轉送服務在不到八小時內發出超過 50 萬次模型呼叫,讓單一家受害組織承擔近 100 萬美元的帳單;報告另也記錄了把受害帳號切到隨用隨付方案、反覆更換短效服務帳號的案例,以及在受害環境部署反向代理、使用 Manus Agent 框架建立容器化後門的案件。這些都是公開報告中各自記錄的獨立案例,並非同一起攻擊事件。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Exercise · 2026-10-30
Morris II 是刻意建置的研究示範:RAG 郵件助理取回惡意郵件後,把指令複製到產生的回覆,並加入通信中的機敏資料,再由自動郵件流程寄出。流程圖把投遞、存入資料庫、取回後遵從指令、產生內容,以及寄出造成的兩種安全影響分開。兩條影響分支不代表觀察到兩封獨立郵件,也不是實際受害者活動。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Incident · 2026-09-18
一名使用中文、化名 knaithe 或 KnYuan 的攻擊者,把 Hermes Agent(一套通用 agent 框架,本案被用來執行攻擊任務)設定成以 DeepSeek(商用大型語言模型)作為推理引擎。Hermes 提供終端機存取、透過 Telegram 操控,以及一套 skill 系統,裡面同時有框架內建與攻擊者自製的紅隊 skill。攻擊者還接上一個 MCP server(Model Context Protocol,讓 agent 呼叫外部工具的介面),對外開放 FOFA(用來搜尋網際網路上曝露資產的服務)查詢、查詢語句翻譯,以及 Nuclei(開源漏洞掃描工具)掃描腳本產生等能力。 Palo Alto Networks 旗下的 Unit 42 取得了一份 2026 年 5 月 7 日、內容詳細的 Hermes Agent 執行工作階段記錄。攻擊者透過 Telegram 下達初始任務,之後 Unit 42 在整段工作階段中沒有再找到任何操作者輸入。接下來,由 DeepSeek 驅動的 Hermes Agent 就自主尋找目標、取得公開的漏洞利用程式、執行掃描、評估結果,並調整做法。 agent 一開始鎖定 Langflow(用來建立 LLM/AI 應用與工作流程的開源低程式碼平台;本案針對的是它對外開放的服務),使用 CVE-2026-33017(CVE 是公開資安漏洞的識別編號)的公開漏洞利用程式。它判斷可用的目標都不符合這支程式所需的前提條件後,就放棄這條路,跨 10 個產品家族比較漏洞,再依嚴重度、曝露程度與可利用性挑中 n8n(開源的工作流程自動化平台)。接著它取得串接 CVE-2026-21858 與 CVE-2025-68613 的公開漏洞利用鏈,並探測透過 FOFA 找到的候選系統。雖然有幾個系統看起來執行受影響的版本,agent 卻發現它們並不具備所需的未驗證檔案上傳功能。所有自主漏洞利用嘗試都沒有取得任何存取權。 另有工作區證據記錄了攻擊者的人工操作,包括對 Citrix NetScaler 抽取資料、在 Marimo 上執行命令,以及對 Tomcat 與 IKE VPN 系統嘗試建立反向 shell。 Unit 42 之所以能看到這些內容,是因為 Hermes Agent 回應一個 Telegram 命令時,直接從攻擊者的家目錄 /home/worker 啟動了一個 HTTP 檔案伺服器,而不是用隔離的暫存目錄。這個失誤把攻擊者的整個工作區意外曝露出來,包括 AI 工具設定、API key、漏洞利用腳本、目標清單、Bash 歷史紀錄,以及自主漏洞利用的工作階段記錄。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Incident · 2026-09-08
Anthropic 於報告中揭露,2025 年 9 月有具國家背景的攻擊團隊鎖定約 30 個組織展開滲透,並導致少數單位受害。攻擊者假借執行正當資安檢測的名義,將整場攻擊行動拆解成數十個看似普通、合理的技術小任務,藉此規避安全防護並利用 AI 程式開發工具 Claude Code 加速攻擊流程。對 AI 服務提供者而言,此事件凸顯了多輪對話整體脈絡監控與輸出端嚴格把關的重要性,同時也表明防護邊界無法延伸至攻擊者本機執行的工具。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-08-25
Varonis 在自己的 Google Cloud 環境中證實,只要擁有更新一個 Dialogflow CX(Google Cloud 用來建立對話式 AI Agent 的平台)Agent 的權限,就可能持續控制同一專案其他 Agent 共用、由 Google 管理的 Cloud Run(Google 的容器執行服務)執行環境。惡意的 Playbook Code Block(Playbook 中可執行自訂 Python 程式碼的區塊)覆寫 code_execution_env.py 後,遭修改的執行環境可以攔截對話、竄改即時回覆、把資料傳到外部,並查詢執行個體中繼資料服務(IMDS,雲端執行個體用來取得自身設定與服務帳號 token 的內部服務)。Google 已於 2026 年 6 月完成修正。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-08-12
研究團隊在 2026 年 7 月初測試 Anthropic、OpenAI 與 Google API 時發現,供應商回傳的不透明推理區塊 (opaque reasoning block, 供模型接續推理、使用者無法直接讀取內文的資料區塊),曾可跨工作階段、跨使用者,或交給同一家供應商的相容模型繼續使用。攻擊者必須先取得他人的區塊,再把它送給能力較弱的相容模型,並透過越獄誘使模型轉錄隱藏推理。團隊從 6,708 筆公開的 agent 執行記錄重建 315,320 個區塊,並在 328 個工作階段找到真實機敏資料。作者表示,供應商採取緩解措施後,已無法重現所展示的攻擊。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Incident · 2026-08-06
Storm-2139 打造了客製化的越獄工具,用來繞過 Azure OpenAI 服務上的安全防護機制,讓使用者能產生有害的合成內容。 微軟指出,Storm-2139 的成員從公開來源蒐刮外流的客戶憑證,再用這些憑證登入生成式 AI 服務的帳號。這個組織開發並經營了一整套工具與服務,繞過安全防護、改變服務行為,讓終端使用者得以產生有害且違法的內容,包括未經當事人同意的名人私密影像,以及其他色情內容。 這整個行動涵蓋三種角色:開發違法工具的製作者、修改並供應這些工具的提供者,以及實際產生違禁內容的使用者。微軟已對此提起民事訴訟。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Exercise · 2026-08-06
MITRE 的 AI 紅隊對一項商用人臉辨識服務,示範了實體世界中的規避攻擊,目標是誘導出特定的錯誤辨識結果。這次行動同時用上了傳統的 MITRE ATT&CK 手法,例如找出可用的有效帳號、透過 API 執行程式碼,並在其中穿插了對抗式機器學習專屬的攻擊。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Research · 2026-08-02
研究人員發現,ChatGPT 這類大型語言模型會憑空生成(幻覺)出實際上並未發布到套件庫的軟體套件名稱。攻擊者可以用這個幻覺出來的名稱,把惡意套件上傳到套件庫。之後,使用同一個或類似大型語言模型的人可能碰到同樣的幻覺,最終下載並執行這個惡意套件,造成各種可能的損害。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Exercise · 2026-08-02
Azure 紅隊針對微軟一項新產品執行紅隊演練,該產品是設計來在邊緣端執行 AI 工作負載的。這次演練的做法,是用一套自動化系統持續調整一張目標影像,讓 ML 模型產生錯誤的分類結果。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Exercise · 2026-08-02
微軟的 AI 紅隊針對一項內部 Azure 服務進行紅隊演練,目標是讓該服務中斷。這次行動同時用上了傳統的 ATT&CK 企業環境手法,例如找出可用的有效帳號、把資料外傳,並在其中穿插了對抗式機器學習專屬的步驟,包括離線與線上的規避樣本。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-07-07
Zenity 用一組彼此配合的 Moltbook 貼文(讓 AI agent 讀取的社群貼文與動態內容),在不到一週內讓超過 1,000 個連上 OpenClaw(agent 平台)的 agent 端點,自動連線到研究團隊設置的無害測試網址。這不是破壞性漏洞,也不是已知惡意 botnet;它是一個安全警訊:如果 agent 會在背景讀取社群動態、解析貼文並自行開啟連結,社群內容就不只是資料,而是能驅動 agent 群體對外連線的攻擊面。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Incident · 2026-07-02
Zenity 的 honeypot(誘捕式偵測環境)觀察到,有攻擊者把自主 agent(可自行規劃並呼叫工具的 AI 程式)和 LLM client(呼叫大語言模型的用戶端)直接指向暴露在外的 Ollama(本機 LLM serving runtime)與 LiteLLM(用來集中轉接 LLM 請求的 AI 閘道)模型後端。這不一定需要惡意程式或主機入侵;只要模型服務連得到、沒有驗證,或只靠測試用的預設 API key 保護,就足以讓它變成攻擊者不用付錢的推理資源。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗