9.8 · LLM 幻覺

閱讀 Databricks DASF 3.0 中 9.8「LLM 幻覺」相關的 2 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

LLM 產生看似合理,實際上卻錯誤、誤導或不符合事實的資訊。訓練資料偏差與脈絡理解限制,都可能促成這個問題;若資料中含有敏感內容,也可能另行形成揭露風險。使用者或下游系統若未察覺內容缺乏依據,就可能把錯誤回答當成可靠資訊來採取行動。

框架官方來源 ↗ · 開啟互動探索 ↗

Validated Research · · 實務關聯

Compaction Smuggling:壓縮對話成為轉移隱藏推理內容的管道

Xint 測試了 OpenAI API 的對話壓縮功能,也就是把先前工作整理成後續模型可接續使用的內容。研究者利用可由用戶端指定的壓縮指示,將 gpt-5.6-sol 受保護的推理內容轉存為加密壓縮項目,再交給 gpt-4.1 或 gpt-4o 回傳可讀文字。這是以研究者自己的題目進行的受控 API 測試,未展示竊取其他使用者的對話。Xint 表示,問題已於 2026 年 10 月 23 日以未公開細節的方式修補。

關聯理由: 此類別的敏感脈絡揭露範圍,適用於經壓縮模型脈絡而外洩的推理。 只對應定義明確涵蓋的揭露結果;未建立事實幻覺或逐 token 一致性。

透過用戶端控制的同模型壓縮與較舊接收模型 API,受控擷取提供者保護的推理內容;沒有展示自主 agent 部署、竊取客戶對話或訓練模型副本。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Research ·

ChatGPT 幻覺出不存在的套件名稱

研究人員發現,ChatGPT 這類大型語言模型會憑空生成(幻覺)出實際上並未發布到套件庫的軟體套件名稱。攻擊者可以用這個幻覺出來的名稱,把惡意套件上傳到套件庫。之後,使用同一個或類似大型語言模型的人可能碰到同樣的幻覺,最終下載並執行這個惡意套件,造成各種可能的損害。

關聯理由: 模型幻覺套件名稱,攻擊者再發布同名惡意套件。 此處對應「LLM 幻覺」:LLM 產生看似合理,實際上卻錯誤、誤導或不符合事實的資訊。 模型幻覺套件名稱,攻擊者再發布同名惡意套件。

模型編造不存在的套件名稱;研究者註冊空套件並記錄下載,惡意套件執行則是有條件的後續風險。

SecureFlow · 閱讀完整案例 ↗