AML.T0092 · Manipulate User LLM Chat History

閱讀 MITRE ATLAS 中 AML.T0092「Manipulate User LLM Chat History」相關的 2 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

Adversaries may manipulate a user's large language model (LLM) chat history to cover the tracks of their malicious behavior. They may hide persistent changes they have made to the LLM's behavior, or obscure their attempts at discovering private information about the user. To do so, adversaries may delete or edit existing messages or create new threads as part of their coverup. This is feasible if the adversary has the victim's authentication tokens for the backend LLM service or if they have direct access to the victim's chat interface. Chat interfaces (especially desktop interfaces) often do not show the injected prompt for any ongoing chat, as they update chat history only once when initially opening it. This can help the adversary's manipulations go unnoticed by the victim.

框架官方來源 ↗ · 開啟互動探索 ↗

Validated Research ·

AIKatz:攻擊 LLM 桌面應用程式

Lumia 的研究人員示範了從 LLM 桌面應用程式的記憶體中,把身分驗證 token 取出來是可行的。攻擊者接著就能拿這些 token 對 LLM 後端冒充受害者,取得受害者所有對話的存取權,也能干擾之後的對話。有了這樣的存取權,攻擊者可以直接注入提示詞改變 LLM 的行為、毒害 LLM 的脈絡以造成持續影響、竄改使用者的對話記錄來湮滅痕跡,最終同時衝擊系統的機密性、完整性與可用性。研究人員在 Anthropic Claude、Microsoft M365 Copilot 與 OpenAI ChatGPT 上都示範了這一點。 各廠商對責任揭露的回應:- Anthropic(HackerOne):因屬本機攻擊,以「僅供參考」結案。- Microsoft Security Response Center:認為這個攻擊沒有跨越安全邊界,不符合開立 CVE 的條件。- OpenAI(BugCrowd):以「僅供參考」結案,並表示這個行為應由微軟負責修補。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

暴露在外的 ClawdBot 控制介面,導致憑證外洩與命令執行

一位資安研究人員在公開網際網路上,找到數百個暴露在外的 ClawdBot 控制介面。ClawdBot(現已更名為 OpenClaw)「是一個由你自己在裝置上執行的個人 AI 助理。它會在你原本就在用的通訊管道上回覆你……再加上各種擴充管道。……它可以在 macOS、iOS、Android 上說話與聆聽,還能顯示一個由你控制的即時 Canvas 畫面。」這位研究人員透過 ClawdBot 的設定檔,取得了多個已連接應用程式的憑證;他也能在對話介面中直接下提示詞去呼叫 ClawdBot 的 skill,最後甚至在容器中取得 root 權限。 這位研究人員用 Shodan 搜尋暴露在公開網際網路上的 ClawdBot 執行個體,其中有些甚至完全沒有啟用身分驗證。他也示範了由於代理服務設定不當,ClawdBot 的身分驗證機制是可以被繞過的。 取得 ClawdBot 控制介面的存取權之後,他就能讀到 ClawdBot 的設定檔,而裡面存放著多項其他服務的憑證。在各個暴露出來的 ClawdBot 執行個體中,他找到了 Anthropic API 金鑰、Telegram Bot Token、Slack OAuth 憑證,以及 Signal 的裝置連結 URI。他也透過對話介面直接對 ClawdBot 下提示詞,讓它把自己的系統提示詞吐了出來。此外,他還能讓 ClawdBot 透過 bash skill 執行命令,而且至少在其中一個執行個體上,成功取得了 ClawdBot 容器中的 root 權限。 這位研究人員也指出,以這種存取權限,他原本還能造成一連串其他影響,包括:- 竄改使用者與 ClawdBot AI agent 之間的對話記錄 - 外洩任何已連接通訊服務中的對話記錄 - 透過已連接的通訊服務,以使用者的名義發送訊息、冒充其身分

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗