正在開啟 SecureFlowZombieAgent:對 ChatGPT 的資料外洩攻擊
案例摘要與來源

AIDEFEND SecureFlow / SecureFlow 案例索引

MITRE ATLAS mitre-atlas-cs0066

ZombieAgent:對 ChatGPT 的資料外洩攻擊

  • 自主式 agent
  • 工具整合與 MCP
  • 資料外洩
  • 模型投毒與完整性破壞

ZombieAgent 是 Radware 針對 OpenAI ChatGPT Deep Research 與連接器(Connector)功能所展示的一種概念驗證(PoC)間接提示詞注入攻擊(indirect prompt injection)。此攻擊展示了藏在電子郵件與文件等外部可控內容中的指令,如何在使用者進行日常活動時被 ChatGPT 攝入並執行。該展示以 Gmail 作為注入來源,但任何 ChatGPT 連接器(如 Outlook、Google Drive、Jira 或 Teams)也可能以類似方式被濫用。 Radware 安全研究人員將一封含有隱藏指令的惡意郵件傳送到與 ChatGPT 連結的 Gmail 收件匣。當使用者稍後要求 ChatGPT 執行如摘要收件匣等日常任務時,ChatGPT 擷取了該郵件並執行其中的指令。使用者並未開啟、點擊或刻意與該惡意郵件互動。 注入的指令導致 ChatGPT 從連結的服務中收集資訊,並透過 URL 請求外洩資料。OpenAI 先前已部署一項控制措施,阻止 ChatGPT 動態建構或修改可用於透過查詢參數(query parameters)外洩資料的 URL。研究人員提供了一組預先建置好的固定 URL 索引字典來繞過此限制,並指示 ChatGPT 開啟對應到各個字元的 URL 來外洩所收集的資料。 研究人員還展示了惡意指令可以操控 ChatGPT 的記憶功能。注入的記憶指示 ChatGPT 保留後續對話中的機敏資訊,並在以後的互動中擷取並執行特定的攻擊者控制郵件。這為跨對話的工作階段建立了重複收集與外洩的持續性機制。 研究人員另展示了惡意提示詞的傳播方式。遭控制的 agent 可以從被害者的信箱收集電子郵件地址,並利用連結的郵件功能,向這些聯絡人傳送含有惡意提示詞的新郵件。收件人的 AI agent 若在後續處理這些遭毒化的郵件,便會成為新的受害者。

對應的威脅技術

來源

更新日期