9.12 · LLM 越獄

閱讀 Databricks DASF 3.0 中 9.12「LLM 越獄」相關的 6 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者透過特別設計的提示詞注入,讓 大型語言模型(LLM)繞過原本的控制、限制或防護。模型之後可能回答平常應該拒絕的要求。風險在於原有行為限制被解除,使模型可被用於開發者原本想要阻止的用途。

框架官方來源 ↗ · 開啟互動探索 ↗

Incident · · 實務關聯

跨供應商大量蒸餾美國前沿 AI 模型能力

NSA、CISA 與 FBI 在 2026 年 9 月聯合公告中,將協同蒸餾活動歸因於六家中國 AI 公司。公告描述假帳號、大量購買訂閱、灰色市場代理、跨供應商路由、移除請求中的組織資訊,以及企圖取得隱藏推理的提示詞,接著把回覆蒐集成資料並檢查品質。蒸餾是用其他模型的輸出訓練自己的模型;歸因與能力影響在此保留為三個機關的調查研判,不能寫成我們已獨立重現量測,也不代表模型權重遭竊取。

關聯理由: 機關描述了企圖繞過隱藏推理限制的提示詞。 公告記錄了直接覆寫與隱藏推理擷取嘗試,未證實真正受保護的軌跡已被揭露。

NSA、CISA 與 FBI 歸因的活動;區分能力蒸餾與竊取原始權重。歸因與能力結果維持為機關研判;隱藏推理提示詞是嘗試,不能證明回傳文字就是內部軌跡,也不推定自主 agent 部署。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

Compaction Smuggling:壓縮對話成為轉移隱藏推理內容的管道

Xint 測試了 OpenAI API 的對話壓縮功能,也就是把先前工作整理成後續模型可接續使用的內容。研究者利用可由用戶端指定的壓縮指示,將 gpt-5.6-sol 受保護的推理內容轉存為加密壓縮項目,再交給 gpt-4.1 或 gpt-4o 回傳可讀文字。這是以研究者自己的題目進行的受控 API 測試,未展示竊取其他使用者的對話。Xint 表示,問題已於 2026 年 10 月 23 日以未公開細節的方式修補。

關聯理由: 刻意設計的壓縮指示與接收端回傳,繞過正常的隱藏推理揭露限制。

透過用戶端控制的同模型壓縮與較舊接收模型 API,受控擷取提供者保護的推理內容;沒有展示自主 agent 部署、竊取客戶對話或訓練模型副本。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident ·

GTG-1002:攻擊者將網路間諜行動拆解為日常任務,濫用 Claude Code 協助滲透

Anthropic 於報告中揭露,2025 年 9 月有具國家背景的攻擊團隊鎖定約 30 個組織展開滲透,並導致少數單位受害。攻擊者假借執行正當資安檢測的名義,將整場攻擊行動拆解成數十個看似普通、合理的技術小任務,藉此規避安全防護並利用 AI 程式開發工具 Claude Code 加速攻擊流程。對 AI 服務提供者而言,此事件凸顯了多輪對話整體脈絡監控與輸出端嚴格把關的重要性,同時也表明防護邊界無法延伸至攻擊者本機執行的工具。

關聯理由: 攻擊者對 Claude Code 越獄後用於間諜活動,仍保留人工決策關卡。 此處對應「LLM 越獄」:攻擊者透過特別設計的提示詞注入,讓 大型語言模型(LLM)繞過原本的控制、限制或防護。

攻擊者對 Claude Code 越獄後用於間諜活動,仍保留人工決策關卡。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident ·

Storm-2139 繞過 Azure OpenAI 的安全防護機制

Storm-2139 打造了客製化的越獄工具,用來繞過 Azure OpenAI 服務上的安全防護機制,讓使用者能產生有害的合成內容。 微軟指出,Storm-2139 的成員從公開來源蒐刮外流的客戶憑證,再用這些憑證登入生成式 AI 服務的帳號。這個組織開發並經營了一整套工具與服務,繞過安全防護、改變服務行為,讓終端使用者得以產生有害且違法的內容,包括未經當事人同意的名人私密影像,以及其他色情內容。 這整個行動涵蓋三種角色:開發違法工具的製作者、修改並供應這些工具的提供者,以及實際產生違禁內容的使用者。微軟已對此提起民事訴訟。

關聯理由: 竊取的服務憑證及越獄工具被用來產生有害內容。 此處對應「LLM 越獄」:攻擊者透過特別設計的提示詞注入,讓 大型語言模型(LLM)繞過原本的控制、限制或防護。

竊取的服務憑證及越獄工具被用來產生有害內容。

SecureFlow · 閱讀完整案例 ↗

Exercise ·

hTAG 瀏覽器 Agent 濫用基準測試:模型意願不等於安全授權

hCaptcha 威脅分析小組(hTAG)在 2025 年 10 月對 ChatGPT Atlas、Claude Computer Use、Gemini Computer Use、Manus AI 與 Perplexity Comet 測試 20 種濫用情境。報告指出,這些瀏覽器 Agent 對直接或稍作改寫的濫用指令大多願意嘗試,並在測試環境完成多項帳號變更、工作階段憑證濫用與付款等高風險任務。這是廠商發布、尚未經獨立重複驗證的測試結果,不能當成真實受害者統計或目前版本的安全排名。模型願意執行或沒有拒絕,也不能證明它已取得帳號、工作階段或交易的合法授權。

關聯理由: 以直接或改寫的請求測試瀏覽器 agent 濫用;結果為基準測試,不是受害數。 此處對應「LLM 越獄」:攻擊者透過特別設計的提示詞注入,讓 大型語言模型(LLM)繞過原本的控制、限制或防護。

以直接或改寫的請求測試瀏覽器 agent 濫用;結果為基準測試,不是受害數。

AIA · 閱讀完整案例 ↗

Validated Research ·

Apple Intelligence 本機模型遭提示詞注入:app 資料與功能被帶偏的風險

RSAC 研究人員結合 Neural Exec(能誘導模型執行指定任務的對抗輸入)與 Unicode 由右至左覆寫控制字元 (right-to-left override, RLO, 能改變文字顯示方向,使畫面順序和實際儲存順序不同的 Unicode 控制字元),繞過 Apple Intelligence 本機 LLM 的輸入、輸出過濾與內部防護。研究在 100 個隨機提示詞中,得到 76% 的平均攻擊成功率。Apple 已在 iOS 26.4 與 macOS 26.4 強化受影響系統;來源未發現野外利用證據。這個案例的防禦重點,是限制 app 能交給模型的資料與功能,並在實際輸入、輸出及動作位置驗證控制。

關聯理由: 對裝置端模型與篩選器的受控越獄測試;不宣稱真實環境已有利用。 此處對應「LLM 越獄」:攻擊者透過特別設計的提示詞注入,讓 大型語言模型(LLM)繞過原本的控制、限制或防護。

對裝置端模型與篩選器的受控越獄測試;不宣稱真實環境已有利用。

AIA · 閱讀完整案例 ↗