13.5 · 連鎖幻覺攻擊

閱讀 Databricks DASF 3.0 中 13.5「連鎖幻覺攻擊」相關的 1 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者利用 AI 會產生看似合理但不真實資訊的特性,讓錯誤內容在相連元件之間傳遞。後續決策可能把先前的幻覺當成證據,讓錯誤一層層加深。這種連鎖影響可能破壞推理,並觸發不當甚至具破壞性的工具呼叫。

框架官方來源 ↗ · 開啟互動探索 ↗

Research · · 實務關聯

ChatGPT 幻覺出不存在的套件名稱

研究人員發現,ChatGPT 這類大型語言模型會憑空生成(幻覺)出實際上並未發布到套件庫的軟體套件名稱。攻擊者可以用這個幻覺出來的名稱,把惡意套件上傳到套件庫。之後,使用同一個或類似大型語言模型的人可能碰到同樣的幻覺,最終下載並執行這個惡意套件,造成各種可能的損害。

關聯理由: 模型編造出不存在的套件名稱,研究者註冊該名稱後,後續推薦會讓使用者找到這個套件。研究以空的追蹤套件記錄到超過三萬次下載;執行惡意套件仍是有條件的後續風險。 實務交集是錯誤的套件推薦延伸到使用者採用套件的流程,不表示自主 agent 之間已傳播錯誤,也不表示研究已觀察到惡意程式執行或正式環境入侵。

模型編造不存在的套件名稱;研究者註冊空套件並記錄下載,惡意套件執行則是有條件的後續風險。

SecureFlow · 閱讀完整案例 ↗