AI SECURITY CASES × FRAMEWORKS
NISTAML.036 · 使用者互動資訊外洩
閱讀 NIST Adversarial ML (2025) 中 NISTAML.036「使用者互動資訊外洩」相關的 3 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明
攻擊者透過間接指令,讓模型在與使用者互動時取得資訊,再把資訊洩漏出去。例如,模型可能說服使用者提供某項個人資料,接著將資料放入攻擊者控制的網址、引導使用者前往該網址,或透過載入外部圖片傳出。這個類別著重於透過互動向使用者取得資訊,而不只是複製相連資源中原本已有的私密資料。
框架官方來源 ↗ · 開啟互動探索 ↗
Validated Research ·
Embrace the Red(https://embracethered.com/blog/)示範了 Bard 使用者的對話內容,可以透過間接提示詞注入攻擊被外洩出去。攻擊做法是:攻擊者把一份夾帶提示詞的 Google 文件分享給目標使用者,使用者再透過 Bard 存取這份文件時,就在不知情的情況下執行了那段提示詞。這段提示詞會讓 Bard 在回覆中放進一段圖片的 Markdown 語法,而圖片網址裡偷偷夾帶了使用者的對話內容。Bard 為使用者載入這張圖片時,就會自動送出一個請求到攻擊者控制的腳本,把使用者的對話外傳出去。這個請求不會被 Google 的內容安全政策(CSP)擋下來,因為該腳本是以 Google Apps Script 形式託管,位於 Google 自有的網域上。 註:Google 已修正這個漏洞。CSP 設定維持不變,Bard 也仍然可以為使用者顯示圖片,因此推測是對網址中夾帶的資料做了某種過濾。
關聯理由: Google Doc 指令使回應含資料的圖片 URL 被自動載入。 此處對應「使用者互動資訊外洩」:攻擊者透過間接指令,讓模型在與使用者互動時取得資訊,再把資訊洩漏出去。
Google Doc 指令使回應含資料的圖片 URL 被自動載入。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Embrace the Red(https://embracethered.com/blog/)示範了 ChatGPT 使用者的對話內容,可以透過間接提示詞注入攻擊被外洩出去。攻擊做法是:攻擊者把一段惡意提示詞放到公開網頁上,等 ChatGPT 使用者接觸到它。這段提示詞會讓 ChatGPT 在回覆中放進一段圖片的 Markdown 語法,而圖片網址裡偷偷夾帶了使用者的對話內容。ChatGPT 為使用者載入這張圖片時,就會自動送出一個請求到攻擊者控制的腳本,把使用者的對話外傳出去。此外,研究人員也示範了這段提示詞可以呼叫其他外掛(plugin),讓使用者暴露在更多危害之下。
關聯理由: 網頁指令使 ChatGPT 圖片 URL 帶出對話內容。 此處對應「使用者互動資訊外洩」:攻擊者透過間接指令,讓模型在與使用者互動時取得資訊,再把資訊洩漏出去。
網頁指令使 ChatGPT 圖片 URL 帶出對話內容。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
使用者在與微軟的 Bing Chat 對話時,可以授權它在整段對話期間讀取目前開啟的網頁。研究人員示範了攻擊者如何在使用者正在瀏覽的網站裡植入注入內容,讓 Bing Chat 在使用者毫無察覺的情況下,變成一個會主動套取並外傳個人資料的社交工程角色。使用者不需要詢問那個網站、也不需要做任何額外動作,只要在瀏覽器開著該網站的同時和 Bing Chat 互動,攻擊就會發生。 在示範中,使用者用 Edge 開啟一個預先準備好、含有間接提示詞注入攻擊的惡意網站,同樣的手法也可以放在社群媒體網站上。網頁裡包含一段提示詞,Bing 讀取後就會改變行為去取得使用者資訊,而這些資訊接著可能被送給攻擊者。
關聯理由: 開啟網頁的內容改變 Bing Chat 行為並取得個人資訊。 此處對應「使用者互動資訊外洩」:攻擊者透過間接指令,讓模型在與使用者互動時取得資訊,再把資訊洩漏出去。
開啟網頁的內容改變 Bing Chat 行為並取得個人資訊。
SecureFlow · 閱讀完整案例 ↗