AML.T0084.000 · Embedded Knowledge

閱讀 MITRE ATLAS 中 AML.T0084.000「Embedded Knowledge」相關的 1 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

Adversaries may attempt to discover the data sources a particular agent can access. The AI agent's configuration may reveal data sources or knowledge. The embedded knowledge may include sensitive or proprietary material such as intellectual property, customer data, internal policies, or even credentials. By mapping what knowledge an agent has access to, an adversary can better understand the AI agent's role and potentially expose confidential information or pinpoint high-value targets for further exploitation.

框架官方來源 ↗ · 開啟互動探索 ↗

Exercise ·

透過 Copilot Studio 中的 agent 工具外洩資料

Zenity 的研究人員示範了如何以提示詞注入攻擊一個由 AI 驅動的客服 agent,把組織的資料外洩出去。 這次的目標系統,是 Zenity 用 Copilot Studio 做出來的客服 agent,設計上參照麥肯錫為了簡化自家客服流程所打造的 agent。這個 AI agent 會監看一個客服信箱,客戶會在那裡寄出委託需求。收到需求之後,agent 會查看該客戶過去的往來紀錄、判斷哪位顧問最適合接手,再寄信給該顧問說明這次的需求,並附上顧問後續與客戶接洽所需的所有相關脈絡。 Zenity 的研究人員先做目標鎖定,找出一個由 AI agent 管理的信箱。接著他們以提示詞注入,探查這個 AI agent 的細節,例如它有哪些知識來源與工具。等到摸清楚這個 AI agent 的能力之後,研究人員就能寫出一段提示詞,把該組織 RAG 資料庫與 CRM 中的客戶私人資料取出來,再透過這個 AI agent 的郵件工具外傳出去。 廠商回應:微軟很快承認並修正了這個問題。Zenity 研究人員在這次演練中所用的提示詞已經失效,不過其他寫法仍可能有效。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗