AML.T0060 · Publish Hallucinated Entities

閱讀 MITRE ATLAS 中 AML.T0060「Publish Hallucinated Entities」相關的 1 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

Adversaries may create an entity they control, such as a software package, website, or email address corresponding to a source hallucinated by an LLM. The hallucinations may take the form of package names, commands, URLs, company names, or email addresses that point the victim to the entity controlled by the adversary. When the victim interacts with the adversary-controlled entity, the attack can proceed.

框架官方來源 ↗ · 開啟互動探索 ↗

Research ·

ChatGPT 幻覺出不存在的套件名稱

研究人員發現,ChatGPT 這類大型語言模型會憑空生成(幻覺)出實際上並未發布到套件庫的軟體套件名稱。攻擊者可以用這個幻覺出來的名稱,把惡意套件上傳到套件庫。之後,使用同一個或類似大型語言模型的人可能碰到同樣的幻覺,最終下載並執行這個惡意套件,造成各種可能的損害。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗