AI SECURITY CASES × FRAMEWORKS
13.16 · 提示詞注入
閱讀 Databricks DASF 3.0 中 13.16「提示詞注入」相關的 4 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明
惡意指令改變 MCP 伺服器(提供 AI 工具與資料的服務)的行為,或繞過使用時的安全控制。指令可能由使用者直接輸入,也可能藏在資料來源中,或透過遭操弄的工具說明傳入。之後的工具操作可能造成未授權行動、資料外洩或權限提升。
框架官方來源 ↗ · 開啟互動探索 ↗
Research ·
Invariant Labs 的研究人員示範了,設定成使用遠端 Model Context Protocol(MCP)工具的 AI agent,可能受到模型投毒攻擊。他們指出,一個 MCP 工具可以在自己的 docstring 說明中夾帶惡意提示詞,而這段內容會被納入 AI agent 的處理脈絡,改變它的行為。 他們用一個概念驗證的 MCP 工具示範這個攻擊:這個工具會指示 agent 在真正使用它之前,先做幾件額外的事,包括從受害者電腦上讀取含有憑證的檔案,再把檔案內容存進這個工具的其中一個輸入參數。等到這個工具真的被執行時,受害者的憑證就被外傳到那台被投毒的 MCP server 上。
關聯理由: 工具 docstring 要求讀取憑證並經工具參數送往 server。 此處對應「提示詞注入」:惡意指令改變 MCP 伺服器(提供 AI 工具與資料的服務)的行為,或繞過使用時的安全控制。
工具 docstring 要求讀取憑證並經工具參數送往 server。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Manifold Security 驗證指出:Azure DevOps PR 說明中對人眼隱藏的 HTML 註解,會被微軟官方 MCP 伺服器的 PR 工具原樣回傳。受測的 Claude Code 與 Copilot CLI 審查 agent 依照註解指示,利用審查者的高權限帳號觸發外部貢獻者無權存取的專案管線(pipeline)、讀取私有 Wiki 頁面,並將敏感內容貼到攻擊者看得到的 PR 留言中。MSRC 已受理並追蹤該通報;公開資料並未確認微軟已完成伺服器端修補。
關聯理由: PR 說明裡的 HTML 註解經官方 MCP 工具原文回傳,審查 agent 讀取投稿者無權存取的 wiki 並張貼出來;MSRC 已受理,來源未確認修補。 此處對應「提示詞注入」:惡意指令改變 MCP 伺服器(提供 AI 工具與資料的服務)的行為,或繞過使用時的安全控制。
PR 說明裡的 HTML 註解經官方 MCP 工具原文回傳,審查 agent 讀取投稿者無權存取的 wiki 並張貼出來;MSRC 已受理,來源未確認修補。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Backslash 資安研究團隊示範了一個 Model Context Protocol(MCP)工具,可以成為對 Cursor 發動間接提示詞注入攻擊的管道,最後甚至導致惡意 shell 命令被執行。 Backlash 資安研究團隊做了一個概念驗證用的 MCP server,功能是抓取網頁內容。當使用者請 Cursor 用這個工具去抓一個含有惡意提示詞的網站時,那段提示詞就被注入 Cursor 的脈絡中。這段提示詞會指示 Cursor 執行一道 shell 命令,把受害者含有憑證的 AI agent 設定檔外傳出去。Cursor 在執行這道惡意命令之前確實會先詢問使用者,這一點有機會緩解整個攻擊。
關聯理由: MCP 網頁內容誘導 shell 外傳;仍存在使用者執行確認。 此處對應「提示詞注入」:惡意指令改變 MCP 伺服器(提供 AI 工具與資料的服務)的行為,或繞過使用時的安全控制。 MCP 網頁內容誘導 shell 外傳;仍存在使用者執行確認。
MCP 網頁內容誘導 shell 外傳;仍存在使用者執行確認。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Tenet Threat Labs 把這條攻擊稱為 Agentjacking:攻擊者可以用公開的 Sentry DSN 寫入偽造錯誤事件,再讓 Sentry MCP server 把這些事件帶進 AI coding agent 的工作流程;Sentry 是錯誤追蹤與可觀測性 (observability, 透過日誌、指標與執行追蹤,了解系統內部運作的能力)平台,這裡的事件原本只是診斷資料。當開發者要求 Claude Code、Cursor 或 Codex 調查 Sentry issue 時,agent 可能把事件裡偽裝成修復建議的文字當成可信診斷內容,進而執行攻擊者指定的 npm 命令。防禦重點不是把系統觀測資料(日誌、事件與監控資料)當成可信指令,而是在 MCP 輸出、agent 客戶端、工具權限、命令核准、沙箱和對外連線上一起設邊界。
關聯理由: Sentry MCP 事件觸發受控驗證套件;不宣稱套件竊取憑證。 此處對應「提示詞注入」:惡意指令改變 MCP 伺服器(提供 AI 工具與資料的服務)的行為,或繞過使用時的安全控制。
Sentry MCP 事件觸發受控驗證套件;不宣稱套件竊取憑證。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗