互動探索 / 分類目錄 AI SECURITY CASES × FRAMEWORKS
9.4 · 循環輸入 閱讀 Databricks DASF 3.0 中 9.4「循環輸入」相關的 3 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明 AI 系統的輸出回到外部環境後,又被系統當成新的輸入,形成有害的回饋循環。錯誤、偏差或防護被削弱的情況,可能在每次循環中持續強化。模型或應用程式因此可能越來越不準確,或逐漸產生非預期行為。
框架官方來源 ↗ · 開啟互動探索 ↗
Exercise · 2026-10-30
Morris II 是刻意建置的研究示範:RAG 郵件助理取回惡意郵件後,把指令複製到產生的回覆,並加入通信中的機敏資料,再由自動郵件流程寄出。流程圖把投遞、存入資料庫、取回後遵從指令、產生內容,以及寄出造成的兩種安全影響分開。兩條影響分支不代表觀察到兩封獨立郵件,也不是實際受害者活動。
關聯理由: 惡意郵件經 RAG 擷取,回應複製指令並洩漏資訊。 此處對應「循環輸入」:AI 系統的輸出回到外部環境後,又被系統當成新的輸入,形成有害的回饋循環。
惡意郵件經 RAG 擷取,回應複製指令並洩漏資訊。
SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-08-25
研究人員把白底白字的提示詞(prompt)藏進 Word 文件後,Microsoft Copilot for Word(內建在 Word 裡、可依使用者要求撰寫或編輯文件的 AI 助理)在移除格式時仍保留這段文字,接著依指令暗中修改財務數字,並把同一段隱藏提示詞複製到新文件。這份新文件之後若再被附加、上傳,或被檢索功能選進 Copilot 的撰寫或編輯流程,隱藏指令就可能再次執行。不過,它不會像傳統網路蠕蟲一樣自行尋找目標;每一輪傳播都仍需要使用者或檢索流程,把帶有提示詞的文件重新納入撰寫或編輯工作。
關聯理由: 帶有複製指令的輸出,可在之後的 Copilot 工作中再次成為輸入。
來源文件中的指令改變財務輸出,並被複製成新載體。傳播仍以文件之後被重用為條件,不代表自行在網路散布。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-08-02
Radware 研究人員在受控測試環境中展示了這種攻擊流程:攻擊者把提示詞藏進電子郵件或文件後,只要使用者日後要求 ChatGPT 透過連接器讀取該內容,原本正常的工作流程就可能遭惡意指令操弄,轉而外洩資料。研究人員觀察到,攻擊者可以事先準備多個固定 URL,讓每個 URL 分別對應一個字元。例如,請求 https://attacker.example/a 代表字元 A,請求 https://attacker.example/b 代表字元 B;系統依序請求哪些 URL,就等於逐字傳出遭竊資料,攻擊者再從伺服器紀錄還原完整內容。攻擊者還能引導 ChatGPT 把指令寫入 Memory(可跨對話保存資訊的記憶功能),讓它跨對話持續生效;另有一條支線會竊取聯絡人,再由攻擊者控制的伺服器寄出更多惡意郵件;Radware 表示 OpenAI 已在 2025 年 12 月 16 日修正回報的漏洞。工作區管理者能停用不需要的連接器或 Memory、縮小 OAuth 授權與資料範圍,並撤銷不再需要的授權;原始內容隔離、Memory 寫入與讀回管制,以及一律阻擋未經核准的對外連線,則由 OpenAI 或其他平台實作者負責;資料去向政策也只能直接管制仍保有伺服器端內容 ID 的明確資料傳送。
關聯理由: 連接器擷取郵件內的隱藏指令後,經 URL 請求外傳資料。 此處對應「循環輸入」:AI 系統的輸出回到外部環境後,又被系統當成新的輸入,形成有害的回饋循環。
連接器擷取郵件內的隱藏指令後,經 URL 請求外傳資料。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗