Incident · 2026-10-30 · 實務關聯
NSA、CISA 與 FBI 在 2026 年 9 月聯合公告中,將協同蒸餾活動歸因於六家中國 AI 公司。公告描述假帳號、大量購買訂閱、灰色市場代理、跨供應商路由、移除請求中的組織資訊,以及企圖取得隱藏推理的提示詞,接著把回覆蒐集成資料並檢查品質。蒸餾是用其他模型的輸出訓練自己的模型;歸因與能力影響在此保留為三個機關的調查研判,不能寫成我們已獨立重現量測,也不代表模型權重遭竊取。
關聯理由: 機關描述了企圖繞過隱藏推理限制的提示詞。 公告記錄了直接覆寫與隱藏推理擷取嘗試,未證實真正受保護的軌跡已被揭露。
NSA、CISA 與 FBI 歸因的活動;區分能力蒸餾與竊取原始權重。歸因與能力結果維持為機關研判;隱藏推理提示詞是嘗試,不能證明回傳文字就是內部軌跡,也不推定自主 agent 部署。
SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-10-26
Xint 測試了 OpenAI API 的對話壓縮功能,也就是把先前工作整理成後續模型可接續使用的內容。研究者利用可由用戶端指定的壓縮指示,將 gpt-5.6-sol 受保護的推理內容轉存為加密壓縮項目,再交給 gpt-4.1 或 gpt-4o 回傳可讀文字。這是以研究者自己的題目進行的受控 API 測試,未展示竊取其他使用者的對話。Xint 表示,問題已於 2026 年 10 月 23 日以未公開細節的方式修補。
關聯理由: 刻意設計的壓縮指示與接收端回傳,繞過正常的隱藏推理揭露限制。
透過用戶端控制的同模型壓縮與較舊接收模型 API,受控擷取提供者保護的推理內容;沒有展示自主 agent 部署、竊取客戶對話或訓練模型副本。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Incident · 2026-09-08
Anthropic 於報告中揭露,2025 年 9 月有具國家背景的攻擊團隊鎖定約 30 個組織展開滲透,並導致少數單位受害。攻擊者假借執行正當資安檢測的名義,將整場攻擊行動拆解成數十個看似普通、合理的技術小任務,藉此規避安全防護並利用 AI 程式開發工具 Claude Code 加速攻擊流程。對 AI 服務提供者而言,此事件凸顯了多輪對話整體脈絡監控與輸出端嚴格把關的重要性,同時也表明防護邊界無法延伸至攻擊者本機執行的工具。
關聯理由: 攻擊者對 Claude Code 越獄後用於間諜活動,仍保留人工決策關卡。 此處對應「LLM 越獄」:攻擊者透過特別設計的提示詞注入,讓 大型語言模型(LLM)繞過原本的控制、限制或防護。
攻擊者對 Claude Code 越獄後用於間諜活動,仍保留人工決策關卡。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Incident · 2026-08-06
Storm-2139 打造了客製化的越獄工具,用來繞過 Azure OpenAI 服務上的安全防護機制,讓使用者能產生有害的合成內容。 微軟指出,Storm-2139 的成員從公開來源蒐刮外流的客戶憑證,再用這些憑證登入生成式 AI 服務的帳號。這個組織開發並經營了一整套工具與服務,繞過安全防護、改變服務行為,讓終端使用者得以產生有害且違法的內容,包括未經當事人同意的名人私密影像,以及其他色情內容。 這整個行動涵蓋三種角色:開發違法工具的製作者、修改並供應這些工具的提供者,以及實際產生違禁內容的使用者。微軟已對此提起民事訴訟。
關聯理由: 竊取的服務憑證及越獄工具被用來產生有害內容。 此處對應「LLM 越獄」:攻擊者透過特別設計的提示詞注入,讓 大型語言模型(LLM)繞過原本的控制、限制或防護。
竊取的服務憑證及越獄工具被用來產生有害內容。
SecureFlow · 閱讀完整案例 ↗
Exercise · 2026-08-05
hCaptcha 威脅分析小組(hTAG)在 2025 年 10 月對 ChatGPT Atlas、Claude Computer Use、Gemini Computer Use、Manus AI 與 Perplexity Comet 測試 20 種濫用情境。報告指出,這些瀏覽器 Agent 對直接或稍作改寫的濫用指令大多願意嘗試,並在測試環境完成多項帳號變更、工作階段憑證濫用與付款等高風險任務。這是廠商發布、尚未經獨立重複驗證的測試結果,不能當成真實受害者統計或目前版本的安全排名。模型願意執行或沒有拒絕,也不能證明它已取得帳號、工作階段或交易的合法授權。
關聯理由: 以直接或改寫的請求測試瀏覽器 agent 濫用;結果為基準測試,不是受害數。 此處對應「LLM 越獄」:攻擊者透過特別設計的提示詞注入,讓 大型語言模型(LLM)繞過原本的控制、限制或防護。
以直接或改寫的請求測試瀏覽器 agent 濫用;結果為基準測試,不是受害數。
AIA · 閱讀完整案例 ↗
Validated Research · 2026-04-25
RSAC 研究人員結合 Neural Exec(能誘導模型執行指定任務的對抗輸入)與 Unicode 由右至左覆寫控制字元 (right-to-left override, RLO, 能改變文字顯示方向,使畫面順序和實際儲存順序不同的 Unicode 控制字元),繞過 Apple Intelligence 本機 LLM 的輸入、輸出過濾與內部防護。研究在 100 個隨機提示詞中,得到 76% 的平均攻擊成功率。Apple 已在 iOS 26.4 與 macOS 26.4 強化受影響系統;來源未發現野外利用證據。這個案例的防禦重點,是限制 app 能交給模型的資料與功能,並在實際輸入、輸出及動作位置驗證控制。
關聯理由: 對裝置端模型與篩選器的受控越獄測試;不宣稱真實環境已有利用。 此處對應「LLM 越獄」:攻擊者透過特別設計的提示詞注入,讓 大型語言模型(LLM)繞過原本的控制、限制或防護。
對裝置端模型與篩選器的受控越獄測試;不宣稱真實環境已有利用。
AIA · 閱讀完整案例 ↗