ChatGPT 幻覺出不存在的套件名稱
研究人員發現,ChatGPT 這類大型語言模型會憑空生成(幻覺)出實際上並未發布到套件庫的軟體套件名稱。攻擊者可以用這個幻覺出來的名稱,把惡意套件上傳到套件庫。之後,使用同一個或類似大型語言模型的人可能碰到同樣的幻覺,最終下載並執行這個惡意套件,造成各種可能的損害。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
AI SECURITY CASES × FRAMEWORKS
閱讀 MITRE ATLAS 中 AML.T0062「Discover LLM Hallucinations」相關的 1 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
Adversaries may prompt large language models and identify hallucinated entities. They may request software packages, commands, URLs, organization names, or e-mail addresses, and identify hallucinations with no connected real-world source. Discovered hallucinations provide the adversary with potential targets to [Publish Hallucinated Entities](/techniques/AML.T0060). Different LLMs have been shown to produce the same hallucinations, so the hallucinations exploited by an adversary may affect users of other LLMs.
研究人員發現,ChatGPT 這類大型語言模型會憑空生成(幻覺)出實際上並未發布到套件庫的軟體套件名稱。攻擊者可以用這個幻覺出來的名稱,把惡意套件上傳到套件庫。之後,使用同一個或類似大型語言模型的人可能碰到同樣的幻覺,最終下載並執行這個惡意套件,造成各種可能的損害。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。