AML.T0048.003 · User Harm

閱讀 MITRE ATLAS 中 AML.T0048.003「User Harm」相關的 14 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

User harms may encompass a variety of harm types including financial and reputational that are directed at or felt by individual victims of the attack rather than at the organization level.

框架官方來源 ↗ · 開啟互動探索 ↗

Validated Research ·

透過日曆邀請對 Gemini 發動提示詞攻擊

SafeBreach 在 Gemini 網頁版與 Android 版示範,日曆邀請及電子郵件可夾帶間接提示詞注入。取回指令後,助理可能立即改寫回覆或操作日曆;另一些路徑則把指令留在對話紀錄,等使用者之後互動時,再調用 Google Home、開啟網站或啟動 Zoom。Gmail 外洩路徑先在初次回覆組好來源網址,把另一封郵件的主旨放進網址,之後才因使用者再次互動而開啟。這些是不同的受控示範,不能串成每次都會發生所有影響的單一路徑,也不是已確認的惡意活動。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Incident ·

針對 Anthropic Claude 的模型蒸餾行動

Anthropic 將約 24,000 個假帳號、超過 1,600 萬次互動的蒸餾活動,歸因於 DeepSeek、Moonshot AI 與 MiniMax。流程分開呈現代理存取、帳號驗證、分散路由、取得推論回覆及後續模型訓練。供應商端的威脅調查與經驗證限制,須在輸出送出前作用;缺少防護的模型可能造成哪些傷害,維持為 Anthropic 的風險研判,不能當成已觀察到的下游受害者統計。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Research ·

透過遠端被投毒的 MCP 工具外洩資料

Invariant Labs 的研究人員示範了,設定成使用遠端 Model Context Protocol(MCP)工具的 AI agent,可能受到模型投毒攻擊。他們指出,一個 MCP 工具可以在自己的 docstring 說明中夾帶惡意提示詞,而這段內容會被納入 AI agent 的處理脈絡,改變它的行為。 他們用一個概念驗證的 MCP 工具示範這個攻擊:這個工具會指示 agent 在真正使用它之前,先做幾件額外的事,包括從受害者電腦上讀取含有憑證的檔案,再把檔案內容存進這個工具的其中一個輸入參數。等到這個工具真的被執行時,受害者的憑證就被外傳到那台被投毒的 MCP server 上。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

Rules File Backdoor:針對 AI 程式開發助理的供應鏈攻擊

研究人員示範,遭投毒的 AI 程式助理規則,可藏入 Unicode 指令、偽稱公司政策,並讓產生的 HTML 在未告知開發者的情況下引用惡意指令碼。流程圖另把專案分支或範本繼承規則檔的路徑,與原專案執行指令分開。前者複製的是既有規則檔,不能寫成 agent 已產生並送出會自我複製的提示詞。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

AIKatz:攻擊 LLM 桌面應用程式

Lumia 的研究人員示範了從 LLM 桌面應用程式的記憶體中,把身分驗證 token 取出來是可行的。攻擊者接著就能拿這些 token 對 LLM 後端冒充受害者,取得受害者所有對話的存取權,也能干擾之後的對話。有了這樣的存取權,攻擊者可以直接注入提示詞改變 LLM 的行為、毒害 LLM 的脈絡以造成持續影響、竄改使用者的對話記錄來湮滅痕跡,最終同時衝擊系統的機密性、完整性與可用性。研究人員在 Anthropic Claude、Microsoft M365 Copilot 與 OpenAI ChatGPT 上都示範了這一點。 各廠商對責任揭露的回應:- Anthropic(HackerOne):因屬本機攻擊,以「僅供參考」結案。- Microsoft Security Response Center:認為這個攻擊沒有跨越安全邊界,不符合開立 CVE 的條件。- OpenAI(BugCrowd):以「僅供參考」結案,並表示這個行為應由微軟負責修補。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Exercise ·

Morris II 蠕蟲:以 RAG 為途徑的攻擊

Morris II 是刻意建置的研究示範:RAG 郵件助理取回惡意郵件後,把指令複製到產生的回覆,並加入通信中的機敏資料,再由自動郵件流程寄出。流程圖把投遞、存入資料庫、取回後遵從指令、產生內容,以及寄出造成的兩種安全影響分開。兩條影響分支不代表觀察到兩封獨立郵件,也不是實際受害者活動。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

暴露在外的 ClawdBot 控制介面,導致憑證外洩與命令執行

一位資安研究人員在公開網際網路上,找到數百個暴露在外的 ClawdBot 控制介面。ClawdBot(現已更名為 OpenClaw)「是一個由你自己在裝置上執行的個人 AI 助理。它會在你原本就在用的通訊管道上回覆你……再加上各種擴充管道。……它可以在 macOS、iOS、Android 上說話與聆聽,還能顯示一個由你控制的即時 Canvas 畫面。」這位研究人員透過 ClawdBot 的設定檔,取得了多個已連接應用程式的憑證;他也能在對話介面中直接下提示詞去呼叫 ClawdBot 的 skill,最後甚至在容器中取得 root 權限。 這位研究人員用 Shodan 搜尋暴露在公開網際網路上的 ClawdBot 執行個體,其中有些甚至完全沒有啟用身分驗證。他也示範了由於代理服務設定不當,ClawdBot 的身分驗證機制是可以被繞過的。 取得 ClawdBot 控制介面的存取權之後,他就能讀到 ClawdBot 的設定檔,而裡面存放著多項其他服務的憑證。在各個暴露出來的 ClawdBot 執行個體中,他找到了 Anthropic API 金鑰、Telegram Bot Token、Slack OAuth 憑證,以及 Signal 的裝置連結 URI。他也透過對話介面直接對 ClawdBot 下提示詞,讓它把自己的系統提示詞吐了出來。此外,他還能讓 ClawdBot 透過 bash skill 執行命令,而且至少在其中一個執行個體上,成功取得了 ClawdBot 容器中的 root 權限。 這位研究人員也指出,以這種存取權限,他原本還能造成一連串其他影響,包括:- 竄改使用者與 ClawdBot AI agent 之間的對話記錄 - 外洩任何已連接通訊服務中的對話記錄 - 透過已連接的通訊服務,以使用者的名義發送訊息、冒充其身分

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

惡意 GGUF 對話範本不改模型權重,也能在推論時植入後門

Pillar Security 與 Fujitsu 的研究人員證實,攻擊者不必修改模型權重,只要竄改 GGUF(常見的量化模型封裝格式)裡的 Jinja 對話範本(用來組合模型提示詞的範本程式),就能在特定條件出現時,把攻擊指令插進系統層級的上下文。研究人員在受控測試環境中發現這種後門不只改變模型輸出,也挾持了 BrowserUse 與 OpenHands 的工具操作(例如:在模擬購物網站的測試中,結帳內容出現 Card Number 與 CVV 時,後門讓 agent 將合成付款資料傳到研究者的本機接收端)。防禦方必須把對話範本視為含有可執行邏輯的釋出成品,驗證完整內容與來源、測試每次格式轉換,並在模型之外限制工具權限和機敏資料去向。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

以提示詞注入竄改 ChatGPT 的記憶

Embrace the Red(https://embracethered.com/blog/)示範了 ChatGPT 的記憶功能可以透過提示詞注入被操弄。攻擊做法是:研究人員把一段提示詞注入藏在一份共用的 Google 文件裡。當使用者提到這份文件時,它的內容會透過 Connected App 功能進入 ChatGPT 的脈絡,於是這段提示詞就被執行,把錯誤的事實寫進記憶中。研究人員示範了這些被植入的記憶會跨對話持續存在。此外,由於這段提示詞注入是透過共用資源帶進來的,其他人也會暴露在同樣的攻擊之下,惡意內容也因此得以在系統中長期留存。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Incident ·

試圖規避 ML 釣魚網頁偵測系統

攻擊者會製作外觀與正版網站高度相似的釣魚網站,誘使使用者輸入帳號密碼,再把這些憑證送回攻擊者手上。為了對抗這種行為,資安廠商在端點防護產品中採用 AI/ML 方法偵測並封鎖釣魚網站。 在這起事件中,研究人員在一套商用 ML 釣魚網頁偵測系統的記錄裡,發現了對抗樣本(adversarial example,特意修改過、用來讓模型判斷錯誤的輸入)。這套偵測系統由一組影像分類器(classifier)各自負責不同的釣魚特徵,例如外觀相似度與輸入表單偵測,再依綜合出來的「釣魚分數」自動決定封鎖或放行。這些對抗樣本用了幾種簡單但有效的手法,以人工方式修改品牌標誌,試圖騙過影像分類模型。採用標誌修改手法的釣魚網站,確實成功騙過了負責以外觀相似度偵測品牌仿冒的那個模型;不過系統中的其他元件仍然成功把這些釣魚網站標記出來。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

Google Bard 對話內容遭外洩

Embrace the Red(https://embracethered.com/blog/)示範了 Bard 使用者的對話內容,可以透過間接提示詞注入攻擊被外洩出去。攻擊做法是:攻擊者把一份夾帶提示詞的 Google 文件分享給目標使用者,使用者再透過 Bard 存取這份文件時,就在不知情的情況下執行了那段提示詞。這段提示詞會讓 Bard 在回覆中放進一段圖片的 Markdown 語法,而圖片網址裡偷偷夾帶了使用者的對話內容。Bard 為使用者載入這張圖片時,就會自動送出一個請求到攻擊者控制的腳本,把使用者的對話外傳出去。這個請求不會被 Google 的內容安全政策(CSP)擋下來,因為該腳本是以 Google Apps Script 形式託管,位於 Google 自有的網域上。 註:Google 已修正這個漏洞。CSP 設定維持不變,Bard 也仍然可以為使用者顯示圖片,因此推測是對網址中夾帶的資料做了某種過濾。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Research ·

ChatGPT 幻覺出不存在的套件名稱

研究人員發現,ChatGPT 這類大型語言模型會憑空生成(幻覺)出實際上並未發布到套件庫的軟體套件名稱。攻擊者可以用這個幻覺出來的名稱,把惡意套件上傳到套件庫。之後,使用同一個或類似大型語言模型的人可能碰到同樣的幻覺,最終下載並執行這個惡意套件,造成各種可能的損害。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

ChatGPT 對話內容遭外洩

Embrace the Red(https://embracethered.com/blog/)示範了 ChatGPT 使用者的對話內容,可以透過間接提示詞注入攻擊被外洩出去。攻擊做法是:攻擊者把一段惡意提示詞放到公開網頁上,等 ChatGPT 使用者接觸到它。這段提示詞會讓 ChatGPT 在回覆中放進一段圖片的 Markdown 語法,而圖片網址裡偷偷夾帶了使用者的對話內容。ChatGPT 為使用者載入這張圖片時,就會自動送出一個請求到攻擊者控制的腳本,把使用者的對話外傳出去。此外,研究人員也示範了這段提示詞可以呼叫其他外掛(plugin),讓使用者暴露在更多危害之下。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

間接提示詞注入攻擊:Bing Chat 被改造成套取個資的海盜

使用者在與微軟的 Bing Chat 對話時,可以授權它在整段對話期間讀取目前開啟的網頁。研究人員示範了攻擊者如何在使用者正在瀏覽的網站裡植入注入內容,讓 Bing Chat 在使用者毫無察覺的情況下,變成一個會主動套取並外傳個人資料的社交工程角色。使用者不需要詢問那個網站、也不需要做任何額外動作,只要在瀏覽器開著該網站的同時和 Bing Chat 互動,攻擊就會發生。 在示範中,使用者用 Edge 開啟一個預先準備好、含有間接提示詞注入攻擊的惡意網站,同樣的手法也可以放在社群媒體網站上。網頁裡包含一段提示詞,Bing 讀取後就會改變行為去取得使用者資訊,而這些資訊接著可能被送給攻擊者。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗