13.18 · 工具投毒

閱讀 Databricks DASF 3.0 中 13.18「工具投毒」相關的 3 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者把惡意工具偽裝成合法工具,或替合法工具加入具有欺騙性的說明。偽造描述、惡意實作與近似工具名稱,都可能讓模型信任或呼叫錯誤的工具。攻擊利用的是模型對可用工具,以及選擇工具所依據資訊的信任。

框架官方來源 ↗ · 開啟互動探索 ↗

Research ·

透過遠端被投毒的 MCP 工具外洩資料

Invariant Labs 的研究人員示範了,設定成使用遠端 Model Context Protocol(MCP)工具的 AI agent,可能受到模型投毒攻擊。他們指出,一個 MCP 工具可以在自己的 docstring 說明中夾帶惡意提示詞,而這段內容會被納入 AI agent 的處理脈絡,改變它的行為。 他們用一個概念驗證的 MCP 工具示範這個攻擊:這個工具會指示 agent 在真正使用它之前,先做幾件額外的事,包括從受害者電腦上讀取含有憑證的檔案,再把檔案內容存進這個工具的其中一個輸入參數。等到這個工具真的被執行時,受害者的憑證就被外傳到那台被投毒的 MCP server 上。

關聯理由: 工具 docstring 要求讀取憑證並經工具參數送往 server。 此處對應「工具投毒」:攻擊者把惡意工具偽裝成合法工具,或替合法工具加入具有欺騙性的說明。

工具 docstring 要求讀取憑證並經工具參數送往 server。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

Plugin4Shell:Git 參照遮蔽,讓外掛程式繞過已審查的版本固定

Air Security 團隊示範,AI 輔助程式設計客戶端在安裝外掛時,可能載入與官方市集已審查提交(commit)完全不同的程式碼。若攻擊者取得受信任外掛上游儲存庫的控制權,即可建立與已固定 SHA 同名的預設分支,或在 Gemini CLI 環境中建立名為 FETCH_HEAD 的預設分支以遮蔽預期結果。後續的背景更新將在無須使用者再次點擊確認的情況下載入惡意程式碼。此安全缺陷出在客戶端未檢驗實際 checkout 至工作目錄的 commit 雜湊值,而非市集完全缺乏審查;攻擊者控制上游儲存庫以及符合條件的客戶端與託管平台,皆為本攻擊路徑的必要前提。

關聯理由: 已審查整合被替換成有害實作,卻保留表面上的核准身分。 共同問題是可執行整合遭投毒,不是已確認的 MCP 工具說明或命名空間衝突。

客戶端外掛散布的受控研究,具有不同 Git checkout 路徑;不推論模型提示詞遭入侵或已觀察大規模受害活動。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident ·

Deadbugz:鎖定 MCP 供應鏈的攻擊活動

Pillar Security 揭露一項鎖定 MCP 供應鏈的攻擊活動,代號為 Deadbugz。攻擊者在約 74 分鐘內送出 23 個 GitHub PR,試圖把惡意 MCP(Model Context Protocol,讓 AI 應用連接工具與資料來源的協定)伺服器加入熱門專案與 MCP 目錄。伺服器一開始正常運作,之後才把工具說明與提示內容改成尋找憑證、暗中讀取檔案、執行命令與外洩資料的指令。受檢視的 PR 均未合併,公開證據也尚未證實受害端曾執行惡意程式或發生資料竊取。

關聯理由: 已觀察到惡意 PR 投遞與延遲投毒設計;沒有已合併或受害執行證據。 此處對應「工具投毒」:攻擊者把惡意工具偽裝成合法工具,或替合法工具加入具有欺騙性的說明。 已觀察到惡意 PR 投遞與延遲投毒設計;沒有已合併或受害執行證據。

已觀察到惡意 PR 投遞與延遲投毒設計;沒有已合併或受害執行證據。

AIA · 閱讀完整案例 ↗