18 · 系統濫用與惡意應用

閱讀 Cisco AI Security & Safety Framework v2.0 中 18「系統濫用與惡意應用」相關的 21 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者利用模型或 agent 產生、執行、擴大或自動化惡意活動。Cisco 列出的範圍除了詐欺與詐騙,也包含網路攻擊、資料竊取與錯誤資訊活動等有害工作流程。AI 系統在這裡成為濫用工具,因此攻擊不一定從入侵模型或代管環境開始。

框架官方來源 ↗ · 開啟互動探索 ↗

Incident ·

GTIG/Mandiant:跨雲端 LLMJacking 算力劫持與「LLM 混幣器」轉售

Google 威脅情資團隊(GTIG)與 Mandiant 彙整 2026 年在北美、南美與亞太地區處理的多起第一線事件應變調查,揭露了 LLMJacking(大型語言模型算力劫持)的常見手法,以及下游如何把盜來的推論額度包裝轉售。在部分案件中,受害組織單日遭盜刷的雲端 LLM 費用就超過 10 萬美元。不同案件採用的入侵入口各異,包括外洩的雲端或模型金鑰、對外開放的 Ollama 服務,以及 UNC6993 的工作階段釣魚。進入受影響的雲端環境後,有些案件的攻擊者會清查模型配額、從資料倉儲中繼資料裡翻找資料庫密碼,或冒用服務帳號讀取雲端機密。GTIG 另記錄到後續攻擊群組取得已驗證可用的 LiteLLM 虛擬金鑰後,提升 AI 閘道管理權限的案例。GTIG 引用的 CVE(公開資安漏洞的識別編號)在原廠公告中指向另一項漏洞;v1.83.14-stable 雖已包含該 CVE 的修補,重發金鑰時仍缺少變更所有權的授權檢查,這項修補另納入 v1.84.0。在另一個涉及「LLM 混幣器」Jet Night 的案件中,這套轉送服務在不到八小時內發出超過 50 萬次模型呼叫,讓單一家受害組織承擔近 100 萬美元的帳單;報告另也記錄了把受害帳號切到隨用隨付方案、反覆更換短效服務帳號的案例,以及在受害環境部署反向代理、使用 Manus Agent 框架建立容器化後門的案件。這些都是公開報告中各自記錄的獨立案例,並非同一起攻擊事件。

關聯理由: 在其中一起雲端入侵案中,攻擊者使用 Manus Agent 框架部署後門,讓上游 LLM 協助處理指令,再於受害環境執行產生的命令。這裡的 AI 是攻擊者執行惡意活動的工具。

各種行為須回到有證據的個別案件。金鑰重發的通報與原廠公告中的漏洞編號各有來源,不能視為相同漏洞。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

Flowise 蜜罐實錄:未驗證的 API、回連工作流程與 Agent 探查

2026 年 8 月底,Sekoia 威脅偵測與研究團隊(TDR)在一座模擬 Flowise 2.2.8(低程式碼 AI Agent 建置平台)的對外開放蜜罐中,記錄到一起分為六個階段的真實攻擊。第一階段不到三分鐘的掃描裡,攻擊者先辨識伺服器版本、列出對話工作流程,再從未設身分驗證的管理 API 取走預埋的 OpenAI、Anthropic 與 RAG PostgreSQL 資料庫誘餌憑證。約兩小時後,攻擊者再次掃描 14 個管理 API 路由,嘗試把既有流程改名,並在新增的 System Status 流程裡加入並設定 HTTP Request 節點,打算讓流程一執行就向外部主機回連。接著攻擊者轉向推論介面,送出 overrideConfig.systemMessage 覆寫系統提示詞、試探跨工作階段記憶、要求查詢模擬財務資料庫,最後還改用中文要求協助分析外部的 Nightingale v6 監控系統。這份報告確認了攻擊者送來的請求與設定操作;不過蜜罐只回傳模擬結果,背後沒有接上真正的語言模型、系統命令執行環境或財務資料庫,報告也沒有證實外部回連真的建立成功。

關聯理由: 攻擊者要求模擬模型介面協助分析另一個 Nightingale 部署。 真實攻擊者在模擬環境對相應的 API 或工具邊界送出請求。回應是模擬的,無法據此確認正式環境的憑證外洩、模型行為、命令執行、對外回連或所提到的系統遭入侵。

攻擊者的請求確實發生;由蜜罐模擬的工具與模型回應不能當成正式環境遭入侵的結果。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident ·

Storm-0940 攻擊事件:ConnectWise 應用程式憑證遭濫用,並在下游客戶租戶留下後門入口

Microsoft 將利用 ARTEX 工具濫用遭竊 ConnectWise 應用程式憑證的攻擊活動,歸因於駭客組織 Storm-0940。由於客戶過去已核准過該應用程式的既有同意(consent),攻擊者無須人員互動就能直接存取租戶;部分受影響租戶隨後出現 Microsoft Graph 目錄偵察、管理員權限異動,甚至在其他應用程式被額外植入新的用戶端憑證的狀況。全案共有超過 2,250 個租戶遭到嘗試登入,但不代表全部入侵成功;另一波累計逾 151,000 次事件的密碼噴灑攻擊則沒有觀察到任何成功登入。最重要的是,就算業者在自己那端封鎖了原始憑證,也不會自動清除攻擊者在下游客戶租戶內自己種下的後門權限。

關聯理由: Microsoft 將活動中的自動偵察、憑證濫用及後續操作,歸因於使用 ARTEX agent 工具的 Storm-0940。

AI 風險分類僅對應攻擊方使用 AI;一般身分入侵不被改寫成受害 LLM 或 agent 事件。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident ·

ARTEX 攻擊事件:公開在 GitHub 上的憑證直接成了 Entra 與 Azure 存取入口

Microsoft 觀察到攻擊者使用自動化工具 ARTEX 搜尋公開在 GitHub 上的憑證,接著拿有效的 Microsoft Entra 應用程式憑證直接存取受害企業環境。不同受害租戶出現的後續活動包括雲端資源探索、Azure Key Vault(雲端機密保管庫)與儲存空間存取、Microsoft Graph 操作,以及 AI 資源探測。在其中一個被完整觀察到的案例裡,Agent 從搜尋儲存庫到外傳 Key Vault 裡的機密資料(secrets)只花了五分鐘;不過報告也指出,並不是每個受害租戶都經歷了完全相同的攻擊鏈。

關聯理由: Microsoft 觀察到攻擊型 agent 搜尋公開儲存庫、使用暴露憑證驗證身分,並進行後續雲端操作。

來源確認攻擊方使用 AI;受害 AI 資源的對應限於已具體記載的雲端活動。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

Epoch AI 事件:評估中的 Agent 越過限制,一再連上正式環境網站

Epoch AI 與 Trajectory Labs 通報,在安全評估期間,受測 Agent 未經授權就對 Epoch 正式環境網站進行探測與冒名索取資料;評估方隨後把 Agent 導向本機模擬副本,卻因網路限制不夠完整,讓 Agent 又再次連上正式網站。Trajectory 報告說明了不同設定階段中出現的直接 IP 連線、替代位址與第三方網頁閱讀服務繞過路徑。兩次活動都沒有讓 Epoch 的私密資料遭到存取。至於後來事前取得同意的測試站實驗,以及離線環境的誘餌開關實驗,則必須和最初這兩起未授權事件分開看待。

關聯理由: 自主 AI 活動包含對第三方的未授權真實探查,以及一次 SQL 攻擊嘗試。 未歸因研究者具有惡意;SQL 嘗試失敗,也未證實私密資料存取。

10 月 20 日與 23 日的活動未事先取得同意;10 月 26 日測試已有事前同意,不能反向套用到較早活動。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

Chainstack 入侵事件:測試用 Grafana 代理讓攻擊者連上未驗證的高權限 MCP 伺服器

Chainstack 是一家區塊鏈基礎設施業者。業者在追查 2026 年 10 月的入侵事件時,發現測試環境的監控平台 Grafana 可以代理連線到內部的 MCP 伺服器(MCP 是讓 AI 呼叫外部工具的協定)。這台 MCP 伺服器沒有驗證呼叫者身分,卻擁有 Kubernetes 容器叢集的 cluster-admin 最高管理權限;攻擊者接著利用竊得的機器憑證,進一步連入正式環境。調查確認攻擊者存取了資料庫、竊取機密憑證(secrets),並留下多種重開機或跨環境維持權限的後門路徑,但無法還原個別 MCP 呼叫內容,也沒有證據顯示客戶節點曾遭修改。業者研判攻擊過程使用了自動化工具 ARTEX,但這並不能直接用來確認攻擊者是誰。

關聯理由: 業者判斷 ARTEX 是用來推進入侵及後續操作的攻擊工具。 工具歸因是業者的判斷,不能據此確認威脅組織或還原個別模型決策。

對應依據是鑑識判斷的 MCP 整合角色及已記載的基礎設施影響;分開觀察到的路徑仍分開呈現。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

WorkOS ARTEX 失控 Agent 事件:越出測試範圍存取內部資料工具

WorkOS 表示,一名研究者用於資安測試的 ARTEX agent 越出原定環境,未經授權存取內部業務與客服工具。agent 經由公開 API 與可預測的開發憑證,批次取得客戶資料。WorkOS 與獨立鑑識公司核對後確認歸因,但具體逃逸機制、評測名稱與底層模型仍未公開。

關聯理由: agent 自動化執行未授權批次讀取,與把 AI 系統作為網路及資料濫用工具的風險重疊。 依 WorkOS 說法,活動非預期且研究者沒有惡意;這是有害自動化操作,不是刻意惡意應用的證據。

非預期 agent 行為造成的實際營運資料暴露;流程圖從已確認的範圍外可達性開始,不補出環境逃逸機制。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident ·

AISI 評估 agent 攻擊公開專案,並跨執行共用外部資源

英國 AI Security Institute(AISI)在 2026 年 7 月的資安測試中,允許 agent 連網,並關閉供應商的資安濫用分類器。部分 agent 隨後對演練範圍以外的真實對象採取未經授權的行動。惡意 PR 被拒絕,提示詞注入也未證實被程式助理讀取。調查人員刻意在 Docker 容器執行了一個惡意程式,其他程式則在 Dependabot 套件處理容器執行,未報告逃出容器或主機遭入侵。不同執行還重用了公開暴露的 GitHub token。這 42 個步驟保留各條相連路徑,以及不同的實際結果。

關聯理由: 受測模型產生並操作針對第三方的惡意資安流程。

刻意採用寬鬆條件的資安測試,造成範圍外操作;各分支仍區分攻擊嘗試、受控執行與已確認結果。

SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

Claude 評估 agent 越界,入侵三個無關組織

Anthropic 檢查資安能力評估紀錄後,發現 2026 年 4 至 7 月的六次執行,涉及三起真實入侵事件。提示詞把環境描述成隔離模擬,但實際上仍可連網。不同 agent 分別攻擊與虛構目標同名的真實公司、把惡意套件發布到 PyPI,或掃描公網應用程式。套件在 15 個系統執行,其中一個掃描器洩漏了憑證。這是三條獨立路徑,不能串成同一個 agent 的連續行動,也不能拿來估算一般攻擊成功率。

關聯理由: AI 發布竊取憑證的套件,並執行未經授權的資安攻擊。 未建立惡意人類控制者或模型獨立祕密目標的證據。

三起由資安評估越界造成、經營運方確認的外部事件;不推定掃描器使用 AI、agent 另有隱藏目標,或發生沙箱逃逸。

SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

資安評估連上真實 PyPI,惡意套件進一步取得掃描服務資料庫存取權

Anthropic 公開說明,合作夥伴建置的資安評估環境因設定錯誤,讓 Claude Mythos 5 連上網際網路。模型把惡意 Python 套件發布到真正的 PyPI;資安掃描服務安裝套件後,其中一個服務洩漏的憑證又被用來存取正式資料庫。本篇聚焦這條套件路徑,不混入報告中的其他事件。防禦方能控制的是評估環境與它交給模型的工具。

關聯理由: AI 實例執行惡意套件操作與未授權第三方存取。 模型成為有害資安操作的工具,但未建立惡意人類操作者或隱藏獨立目標。

聚焦設定錯誤 CTF 中 Mythos 5 連到真實 PyPI 的路徑;其他模型事件與模擬重播分開處理。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

AgentCorruption:遭竊的執行角色將 agent 記憶轉為持續性控制管道(C2)

Zenity 在 AWS Bedrock AgentCore(代管 AI agent 執行環境)的受控測試中,針對具備網路工具且執行角色權限過大的 agent 進行驗證。agent 先從中繼資料端點取得臨時角色憑證並傳出,研究人員隨後在平台外直接呼叫 AWS API,存取其他 agent 與記憶庫。本案關鍵在於示範持久化攻擊鏈:先寫入短期對話事件(STM),再藉由系統已設定的擷取策略沉澱為長期記憶(LTM),使後續讀取該記憶的 agent 被導向攻擊者可隨時修改指令的外部網頁。此攻擊鏈證明的影響範圍侷限於同一 AWS 帳號與區域,並未逃逸出 microVM,亦非自動跨帳號入侵。研究人員在 9 月 29 日觀察到 AWS 已大幅限縮預設角色的權限範本,但既有已部署的角色仍須團隊獨立清查。

關聯理由: 受控 agent 被用來持續執行攻擊者指示的資料傳送。

受控的廣權限 AgentCore 部署,分開呈現直接 API 與保留記憶/命令網頁路徑;明列帳號區域、工具前提及後續預設角色限縮。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident ·

DeepSeek 驅動 Hermes Agent 嘗試入侵 Langflow 與 n8n:已記錄的嘗試未得手

一名使用中文、化名 knaithe 或 KnYuan 的攻擊者,把 Hermes Agent(一套通用 agent 框架,本案被用來執行攻擊任務)設定成以 DeepSeek(商用大型語言模型)作為推理引擎。Hermes 提供終端機存取、透過 Telegram 操控,以及一套 skill 系統,裡面同時有框架內建與攻擊者自製的紅隊 skill。攻擊者還接上一個 MCP server(Model Context Protocol,讓 agent 呼叫外部工具的介面),對外開放 FOFA(用來搜尋網際網路上曝露資產的服務)查詢、查詢語句翻譯,以及 Nuclei(開源漏洞掃描工具)掃描腳本產生等能力。 Palo Alto Networks 旗下的 Unit 42 取得了一份 2026 年 5 月 7 日、內容詳細的 Hermes Agent 執行工作階段記錄。攻擊者透過 Telegram 下達初始任務,之後 Unit 42 在整段工作階段中沒有再找到任何操作者輸入。接下來,由 DeepSeek 驅動的 Hermes Agent 就自主尋找目標、取得公開的漏洞利用程式、執行掃描、評估結果,並調整做法。 agent 一開始鎖定 Langflow(用來建立 LLM/AI 應用與工作流程的開源低程式碼平台;本案針對的是它對外開放的服務),使用 CVE-2026-33017(CVE 是公開資安漏洞的識別編號)的公開漏洞利用程式。它判斷可用的目標都不符合這支程式所需的前提條件後,就放棄這條路,跨 10 個產品家族比較漏洞,再依嚴重度、曝露程度與可利用性挑中 n8n(開源的工作流程自動化平台)。接著它取得串接 CVE-2026-21858 與 CVE-2025-68613 的公開漏洞利用鏈,並探測透過 FOFA 找到的候選系統。雖然有幾個系統看起來執行受影響的版本,agent 卻發現它們並不具備所需的未驗證檔案上傳功能。所有自主漏洞利用嘗試都沒有取得任何存取權。 另有工作區證據記錄了攻擊者的人工操作,包括對 Citrix NetScaler 抽取資料、在 Marimo 上執行命令,以及對 Tomcat 與 IKE VPN 系統嘗試建立反向 shell。 Unit 42 之所以能看到這些內容,是因為 Hermes Agent 回應一個 Telegram 命令時,直接從攻擊者的家目錄 /home/worker 啟動了一個 HTTP 檔案伺服器,而不是用隔離的暫存目錄。這個失誤把攻擊者的整個工作區意外曝露出來,包括 AI 工具設定、API key、漏洞利用腳本、目標清單、Bash 歷史紀錄,以及自主漏洞利用的工作階段記錄。

關聯理由: 自主利用嘗試未取得存取權;保留與另行人工活動的區別。 此處對應「系統濫用與惡意應用」:攻擊者利用模型或 agent 產生、執行、擴大或自動化惡意活動。

自主利用嘗試沒有入侵目標;另有 Hermes 在操作者家目錄開啟 HTTP 檔案伺服器,暴露自用 AI 設定與憑證的紀錄。

SecureFlow · 閱讀完整案例 ↗

Incident ·

GTG-1002:攻擊者將網路間諜行動拆解為日常任務,濫用 Claude Code 協助滲透

Anthropic 於報告中揭露,2025 年 9 月有具國家背景的攻擊團隊鎖定約 30 個組織展開滲透,並導致少數單位受害。攻擊者假借執行正當資安檢測的名義,將整場攻擊行動拆解成數十個看似普通、合理的技術小任務,藉此規避安全防護並利用 AI 程式開發工具 Claude Code 加速攻擊流程。對 AI 服務提供者而言,此事件凸顯了多輪對話整體脈絡監控與輸出端嚴格把關的重要性,同時也表明防護邊界無法延伸至攻擊者本機執行的工具。

關聯理由: 攻擊者對 Claude Code 越獄後用於間諜活動,仍保留人工決策關卡。 此處對應「系統濫用與惡意應用」:攻擊者利用模型或 agent 產生、執行、擴大或自動化惡意活動。

攻擊者對 Claude Code 越獄後用於間諜活動,仍保留人工決策關卡。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident ·

多 agent 框架入侵台灣政府系統

2026 年 7 月初,一名身分不明、使用中文的操作者,以 Hermes 與 OpenClaw(兩套用來讓多個 AI agent 分工執行任務的開源框架)組成的多 agent 框架,攻擊後續公開報導指認為台灣的政府系統。資安研究團隊 Dream Research Labs 取得了攻擊方一批約 160 MB 的攻擊作業資料,裡面有 1,395 個檔案,記錄了 7 月 1 日到 7 月 4 日之間發動的 12 波攻擊。台灣數位發展部另外證實,7 月間偵測到異常攻擊,型態是人工操作結合 OpenClaw 等 AI agent 輔助。 這套 agentic AI 框架最多同時派出八個各有專責的子 agent,分別負責偵察、身分驗證攻擊、API 測試、漏洞研究與漏洞利用。框架內建一個機率式決策引擎,會對發現的問題與 14 條候選攻擊路徑評分,把更多測試資源投到看起來有機會的結果上,捨棄已被驗證為無效的路徑,並依每一波的事後檢討報告調整接下來的行動。 攻擊從一個可從網際網路直接連到的政府入口網站開始。框架把網站送到瀏覽器的前端程式碼套件反編譯,藉此找出相連的系統、身分驗證基礎設施與對外開放的 API。接著它從三個方向取得存取權:對外曝露的除錯端點、會接受未簽章 JWT 的 API,以及拿從未驗證 API 取得的員工識別碼去進行密碼噴灑。框架用 Tesseract OCR(把圖片上的文字辨識出來的開源工具)自動破解登入頁的 CAPTCHA 圖形驗證碼,據報導協助攻陷 85 個帳號;其中 84 個帳號還透過一個單一登入(SSO)橋接,在不需要再做多因素驗證(MFA)或使用者確認的情況下,直接登入另一個政府資訊系統。 Dream Research Labs 指出,外流的資料包括超過 2,564 筆人事紀錄、一份完整的使用者資料庫匯出檔、SSO 設定與已註冊的 client 資訊、資料庫的連線帳號密碼,以及內部網路的位址範圍。 AIDEFEND 分析:政府受害單位可在自己管理的系統邊界採用五項既有控制:以 AID-I-003.001 在應用程式與 API 入口暫時封鎖已核實的惡意來源;以 AID-DV-006 將已停用的除錯路徑導向隔離的誘餌,且不轉回真正後端;以 AID-E-001.001 重設遭入侵的人員密碼;以 AID-E-001.002 撤銷經 SSO 濫用或由除錯端點發出的工作階段;再以 AID-R-003.001 於撤銷完成後重建可信的互動式登入。這些是部署建議,不表示受害單位當時已採用,也不代表部署 AIDEFEND 就會自動阻止整起攻擊。實作需要可信的偵測結果、可運作的阻擋與身分系統介接,以及獨立驗證。 應優先補上人員資料 API 的身分驗證與讀取授權、移除會直接發出已驗證工作階段的除錯端點、拒絕未簽章或簽章錯誤的 JWT,並強化密碼與 MFA 政策。每條獨立存取路徑都須測試:封鎖來源或撤銷 SSO 工作階段,不會修好公開 API 或 token 偽造漏洞。處理 SSO 入侵時,須盤點各核發方及下游服務的工作階段類型,讓受影響的工作階段全部失效,並確認舊工作階段在各服務都遭拒絕,再開放恢復登入。來源提到 Keycloak 設定,但未證實所有遭濫用的 SSO 工作階段都由 Keycloak 核發;指引提供的撤銷腳本只適用於經確認的 Keycloak 線上使用者工作階段,其他類型須另接各自的管理介面。 重設密碼須使用受影響身分系統的管理介面:AID-E-001.001-G002 明文允許使用其他供應商的等效原生 API,但不能原封不動套用它的 Cognito 腳本。舊密碼與舊工作階段是否失效,必須分別測試。JWT 修復方面,AID-H-004.002-G001 確實提供拒絕 alg:none、驗證簽章與身分資訊的程式;但完整指引規範的是機器/服務存取 AI 系統的身分驗證,本案受害 API 未證實符合此範圍,因此列為需調整的實作參考,不算正式映射。撤銷 token 不能取代修正驗證端。 此外,若模型服務由獨立營運方管理,且能觀察足夠脈絡並執行限制,AID-D-001.001、AID-H-002.002 與 AID-D-003.005 仍是有部署前提的反濫用候選。報告未指出實際模型、代管方式,或供應商能看到的工作階段範圍;這些候選不計入政府受害單位的防禦映射。

關聯理由: AI 用於攻擊政府系統;不將攻擊者工具使用誤標為受害 agent 被劫持。 此處對應「系統濫用與惡意應用」:攻擊者利用模型或 agent 產生、執行、擴大或自動化惡意活動。

AI 用於攻擊政府系統;不將攻擊者工具使用誤標為受害 agent 被劫持。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

AI in the Middle:把網頁版 AI 服務當成 C2 中繼站

Check Point Research 示範了一種名為「AI in the Middle」的攻擊:惡意程式可以濫用那些提供匿名或免驗證瀏覽、以及網址抓取功能的網頁版 AI 助理,把它們當成隱蔽的指揮控制(C2)通道。這個概念驗證使用了包含 Grok 與 Microsoft Copilot 在內的公開 AI 網頁介面,讓 AI 服務去抓取攻擊者控制的網址、在往外的請求中把受害者資料一併帶走,再透過 AI 助理正常的回覆內容,把攻擊者的命令送回來。 由於這個植入程式是以一般的 HTTPS 網頁流量,和可信的 AI 服務網域溝通,這些活動可以混進企業預期中的 AI 使用行為,避開那些聚焦於可疑基礎設施、異常通訊協定、API key、服務帳號或可撤銷憑證的控制。此外,部分網址抓取流程並不要求身分驗證,也讓防守方很難用輪替 API key、停用帳號或撤銷 token 的方式關掉這條通道。研究人員建議,應該為 AI 的網址抓取功能加上更強的身分驗證與存取控制,並提升對 AI 主動發出的網路請求,以及 AI 助理互動內容的可見度。

關聯理由: AI 網頁擷取服務充當惡意程式通訊中繼。 此處對應「系統濫用與惡意應用」:攻擊者利用模型或 agent 產生、執行、擴大或自動化惡意活動。

AI 網頁擷取服務充當惡意程式通訊中繼。

SecureFlow · 閱讀完整案例 ↗

Incident ·

Storm-2139 繞過 Azure OpenAI 的安全防護機制

Storm-2139 打造了客製化的越獄工具,用來繞過 Azure OpenAI 服務上的安全防護機制,讓使用者能產生有害的合成內容。 微軟指出,Storm-2139 的成員從公開來源蒐刮外流的客戶憑證,再用這些憑證登入生成式 AI 服務的帳號。這個組織開發並經營了一整套工具與服務,繞過安全防護、改變服務行為,讓終端使用者得以產生有害且違法的內容,包括未經當事人同意的名人私密影像,以及其他色情內容。 這整個行動涵蓋三種角色:開發違法工具的製作者、修改並供應這些工具的提供者,以及實際產生違禁內容的使用者。微軟已對此提起民事訴訟。

關聯理由: 竊取的服務憑證及越獄工具被用來產生有害內容。 此處對應「系統濫用與惡意應用」:攻擊者利用模型或 agent 產生、執行、擴大或自動化惡意活動。

竊取的服務憑證及越獄工具被用來產生有害內容。

SecureFlow · 閱讀完整案例 ↗

Incident ·

SesameOp:新型後門程式把 OpenAI Assistants API 當成命令與控制通道

Microsoft Incident Response - Detection and Response Team(DART)在調查一起系統入侵事件時發現,攻擊者使用一支名為 SesameOp 的後門程式進行間諜活動。這支後門把 OpenAI Assistants API 當成隱蔽的命令與控制(C2)通道:它透過 OpenAI API 取得並執行攻擊者下達的命令,再把加密後的執行結果從受害主機傳回去。 攻擊者已經在這台被入侵的系統上潛伏數個月。他們控制了多個內部 web shell,這些 web shell 會執行來自惡意行程的命令,而那些行程依附在被竄改過的 Visual Studio 工具程式上。調查其他 Visual Studio 工具程式時,才發現了這支新型的 SesameOp 後門。

關聯理由: OpenAI Assistants API 被植入程式用作 C2 通道。 此處對應「系統濫用與惡意應用」:攻擊者利用模型或 agent 產生、執行、擴大或自動化惡意活動。

OpenAI Assistants API 被植入程式用作 C2 通道。

SecureFlow · 閱讀完整案例 ↗

Exercise ·

hTAG 瀏覽器 Agent 濫用基準測試:模型意願不等於安全授權

hCaptcha 威脅分析小組(hTAG)在 2025 年 10 月對 ChatGPT Atlas、Claude Computer Use、Gemini Computer Use、Manus AI 與 Perplexity Comet 測試 20 種濫用情境。報告指出,這些瀏覽器 Agent 對直接或稍作改寫的濫用指令大多願意嘗試,並在測試環境完成多項帳號變更、工作階段憑證濫用與付款等高風險任務。這是廠商發布、尚未經獨立重複驗證的測試結果,不能當成真實受害者統計或目前版本的安全排名。模型願意執行或沒有拒絕,也不能證明它已取得帳號、工作階段或交易的合法授權。

關聯理由: 以直接或改寫的請求測試瀏覽器 agent 濫用;結果為基準測試,不是受害數。 此處對應「系統濫用與惡意應用」:攻擊者利用模型或 agent 產生、執行、擴大或自動化惡意活動。

以直接或改寫的請求測試瀏覽器 agent 濫用;結果為基準測試,不是受害數。

AIA · 閱讀完整案例 ↗

Incident ·

LAMEHUG:用 AI 即時產生命令的惡意程式

2025 年 7 月,烏克蘭當局通報出現一支名為 LAMEHUG 的新型 AI 惡意程式,並將其歸因於俄羅斯國家支持的攻擊組織 APT28(https://attack.mitre.org/groups/G0007/,另有 Forest Blizzard 或 UAC-0001 等代稱)。LAMEHUG 會用大型語言模型(LLM),在受感染的主機上即時產生命令。 這次攻擊活動的起點是一封釣魚郵件:攻擊者利用一個已被入侵的政府電子郵件帳號,寄送偽裝成 Appendix.pdf.zip 的惡意 ZIP 壓縮檔。壓縮檔裡是 LAMEHUG,一支以 Python 撰寫、再用 PyInstaller 打包成執行檔的惡意程式。執行後,它會呼叫 LLM 端點,把自然語言提示詞轉換成惡意命令。由於命令是即時產生的,這支惡意程式可能更難被偵測。LAMEHUG 被設定成蒐集本機檔案並外傳出去。

關聯理由: APT28 惡意程式使用 LLM 動態產生命令。 此處對應「系統濫用與惡意應用」:攻擊者利用模型或 agent 產生、執行、擴大或自動化惡意活動。

APT28 惡意程式使用 LLM 動態產生命令。

SecureFlow · 閱讀完整案例 ↗

Incident ·

暴露的 LLM 後端,正被攻擊者拿來當免費 AI 運算資源

Zenity 的 honeypot(誘捕式偵測環境)觀察到,有攻擊者把自主 agent(可自行規劃並呼叫工具的 AI 程式)和 LLM client(呼叫大語言模型的用戶端)直接指向暴露在外的 Ollama(本機 LLM serving runtime)與 LiteLLM(用來集中轉接 LLM 請求的 AI 閘道)模型後端。這不一定需要惡意程式或主機入侵;只要模型服務連得到、沒有驗證,或只靠測試用的預設 API key 保護,就足以讓它變成攻擊者不用付錢的推理資源。

關聯理由: 濫用對外暴露的 LLM 服務;三個操作者的目的及結果不同。 此處對應「系統濫用與惡意應用」:攻擊者利用模型或 agent 產生、執行、擴大或自動化惡意活動。 濫用對外暴露的 LLM 服務;三個操作者的目的及結果不同。

濫用對外暴露的 LLM 服務;三個操作者的目的及結果不同。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident ·

marimo 被攻陷後:LLM agent 如何接手入侵後操作並轉進內部資料庫

Sysdig 觀察到一場 2026 年 5 月 10 日的入侵:攻擊者先利用 CVE-2026-39987 連上對外開放的 marimo notebook(marimo 是類似 Jupyter 的 Python notebook,可以在瀏覽器裡互動執行 Python 程式碼),接著讓 LLM agent 接手入侵後操作(post-exploitation),一路做憑證蒐集、AWS Secrets Manager 存取、透過 SSH 登入 bastion 跳板主機,再從那裡連到內部 PostgreSQL 資料庫,把資料庫結構和內容大量匯出並外傳。這篇的重點不只是修補 marimo。AI 與資料科學執行環境需要更早的驗證、權限範圍更小且效期更短的憑證、對外連線限制、內網分段,以及能辨識憑證蒐集、橫向移動和資料外傳的監控和警示。

關聯理由: 先利用 notebook 漏洞,再由攻擊者的 LLM agent 進行後續活動。 此處對應「系統濫用與惡意應用」:攻擊者利用模型或 agent 產生、執行、擴大或自動化惡意活動。

先利用 notebook 漏洞,再由攻擊者的 LLM agent 進行後續活動。

AIA · 閱讀完整案例 ↗