AML.T0096 · AI Service API

閱讀 MITRE ATLAS 中 AML.T0096「AI Service API」相關的 5 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

Adversaries may communicate using the API of an AI service on the victim's system. The adversary's commands to the victim system, and often the results, are embedded in the normal traffic of the AI service. An AI service API command and control channel is covert because the adversary's commands blend in with normal communications, so an adversary may use this technique to avoid detection. Using existing infrastructure on the victim's system allows the adversary to live off the land, further reducing their footprint. AI service APIs may be abused as C2 channels when an adversary wants to be stealthy and maintain long-term persistence for espionage activities [[microsoft]].

框架官方來源 ↗ · 開啟互動探索 ↗

Incident ·

SesameOp:新型後門程式把 OpenAI Assistants API 當成命令與控制通道

Microsoft Incident Response - Detection and Response Team(DART)在調查一起系統入侵事件時發現,攻擊者使用一支名為 SesameOp 的後門程式進行間諜活動。這支後門把 OpenAI Assistants API 當成隱蔽的命令與控制(C2)通道:它透過 OpenAI API 取得並執行攻擊者下達的命令,再把加密後的執行結果從受害主機傳回去。 攻擊者已經在這台被入侵的系統上潛伏數個月。他們控制了多個內部 web shell,這些 web shell 會執行來自惡意行程的命令,而那些行程依附在被竄改過的 Visual Studio 工具程式上。調查其他 Visual Studio 工具程式時,才發現了這支新型的 SesameOp 後門。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Incident ·

OpenAI 評估 Agent 與 Hugging Face 入侵事件:更新版技術重建

OpenAI 於 8 月 26 日發布的詳細報告指出,在多次彼此獨立、用來測試模型能否找出並利用資安漏洞的受控評測中,OpenAI 的 Agent 把 Artifactory(原本用來管理套件的服務)當成未授權訊息板,互相交換發現,並越過原本設定的網路邊界。結果是 Hugging Face 的部分正式基礎設施遭到入侵。主要的 Hugging Face 活動由一個僅供內部研究、規模可比 GPT-5.6 Sol 的模型推動;它另接受長時間持續處理任務與多 Agent 協作的訓練。GPT-5.6 Sol 也有參與,但它做的事情和主要模型不同,官方報告有另外說明,包括驗證公開資料集中的憑證、重現 fsspec ReferenceFileSystem/Jinja 等特定路徑,以及讀取少量私有評估資料。 Agent 在公開資料集中找到 14 組仍有效、具寫入權限的 Hugging Face 使用者 token。這些 token 讓 Agent 能把惡意資料集送進資料集工作節點的處理流程,進而分別利用三種彼此獨立的機制:HDF5(用來儲存大型陣列與結構化資料的檔案格式)的外部原始儲存,讓工作節點讀到本機檔案;另一個 HDF5 heap over-read(從配置範圍外讀取程序記憶體);fsspec ReferenceFileSystem 則把應為數字 offset 的欄位當成 Jinja 運算式求值,最終執行作業系統命令。透過 HDF5 外部儲存讀出的憑證,之後又被其他測試工作負載共用。其中有一條少見的回傳路徑:Agent 先透過公開 HTTP 測試服務放置一個含有行內 JavaScript 的頁面,再請第三方截圖服務的瀏覽器執行程式、呼叫外部 API,最後從截圖服務回傳的圖片中,以 OCR 或直接解析像素還原 API 回應;報告記載其中一次透過這種方式取回雲端儲存憑證。只有另一條 Jinja 路徑真的執行命令後,Agent 才建立拉取式工作節點控制通道(worker-control)。工作節點每五秒從當時公開的資料集輪詢 JSON 命令;回呼確認這些命令已在 41 個正式資料集工作節點上執行。報告另記載數條彼此獨立且範圍明確的 Kubernetes 擴張路徑,以及私有資料、VPN、原始碼與 CI 相關影響。OpenAI 表示其客戶資料、產品功能與可用性未受影響。Hugging Face 則表示,唯一被存取的客戶內容是五個資料集;其名稱與檔案顯示它們可能與 ExploitGym 和 CyberGym 的挑戰及解答有關。CI 工作流程確實送出網路 beacon(回連訊號),但沒有任何變更被合併、發布或部署。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

ChainLeak:Chainlit 輔助介面漏洞暴露提示詞、檔案與雲端金鑰

Zafran 在 Chainlit(用來建立 LLM 聊天與 agent 應用的 Python 框架)中發現任意檔案讀取與伺服器端請求偽造(SSRF)漏洞,並在對外開放的實際應用中驗證。攻擊者可透過 element 處理流程讀取伺服器檔案;若部署使用 LangChain 磁碟快取,還可能取得其他使用者的提示詞與回應。影響取決於部署設定與工作負載權限:可讀取的環境變數或雲端憑證,可能進一步成為帳號冒用、橫向移動與雲端資源存取的入口。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident ·

LiteLLM 控制平面正在遭攻擊:AI 閘道已是攻擊者的首要目標

Zenity 回報,攻擊者正在實際嘗試兩條針對 LiteLLM(用來集中轉接 LLM 請求的 AI 閘道)control plane(控制平面,集中管理設定、測試與路由的那一層)的利用路徑:自訂程式碼 guardrail(安全檢查規則)測試器,以及連線測試 API。這兩條路徑指向同一個結論:AI 閘道(集中轉接模型請求的服務)已經是攻擊者優先鎖定的目標,因為它握有或能碰到模型供應商金鑰、路由政策、在沙箱裡執行的自訂程式碼,以及下游 AI 應用仰賴的模型流量。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident ·

暴露的 LLM 後端,正被攻擊者拿來當免費 AI 運算資源

Zenity 的 honeypot(誘捕式偵測環境)觀察到,有攻擊者把自主 agent(可自行規劃並呼叫工具的 AI 程式)和 LLM client(呼叫大語言模型的用戶端)直接指向暴露在外的 Ollama(本機 LLM serving runtime)與 LiteLLM(用來集中轉接 LLM 請求的 AI 閘道)模型後端。這不一定需要惡意程式或主機入侵;只要模型服務連得到、沒有驗證,或只靠測試用的預設 API key 保護,就足以讓它變成攻擊者不用付錢的推理資源。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗