正在開啟 SecureFlow透過 Copilot Studio 中的 agent 工具外洩資料
案例摘要與來源

AIDEFEND SecureFlow / SecureFlow 案例索引

MITRE ATLAS mitre-atlas-cs0037

透過 Copilot Studio 中的 agent 工具外洩資料

  • Copilot 與 SaaS
  • 自主式 agent
  • 工具整合與 MCP
  • RAG 與知識系統
  • 資料外洩

Zenity 的研究人員示範了如何以提示詞注入攻擊一個由 AI 驅動的客服 agent,把組織的資料外洩出去。 這次的目標系統,是 Zenity 用 Copilot Studio 做出來的客服 agent,設計上參照麥肯錫為了簡化自家客服流程所打造的 agent。這個 AI agent 會監看一個客服信箱,客戶會在那裡寄出委託需求。收到需求之後,agent 會查看該客戶過去的往來紀錄、判斷哪位顧問最適合接手,再寄信給該顧問說明這次的需求,並附上顧問後續與客戶接洽所需的所有相關脈絡。 Zenity 的研究人員先做目標鎖定,找出一個由 AI agent 管理的信箱。接著他們以提示詞注入,探查這個 AI agent 的細節,例如它有哪些知識來源與工具。等到摸清楚這個 AI agent 的能力之後,研究人員就能寫出一段提示詞,把該組織 RAG 資料庫與 CRM 中的客戶私人資料取出來,再透過這個 AI agent 的郵件工具外傳出去。 廠商回應:微軟很快承認並修正了這個問題。Zenity 研究人員在這次演練中所用的提示詞已經失效,不過其他寫法仍可能有效。

對應的威脅技術

來源

更新日期