ChatGPT 幻覺出不存在的套件名稱
研究人員發現,ChatGPT 這類大型語言模型會憑空生成(幻覺)出實際上並未發布到套件庫的軟體套件名稱。攻擊者可以用這個幻覺出來的名稱,把惡意套件上傳到套件庫。之後,使用同一個或類似大型語言模型的人可能碰到同樣的幻覺,最終下載並執行這個惡意套件,造成各種可能的損害。
關聯理由: 模型編造出不存在的套件名稱,研究者註冊該名稱後,後續推薦會讓使用者找到這個套件。研究以空的追蹤套件記錄到超過三萬次下載;執行惡意套件仍是有條件的後續風險。 實務交集是錯誤的套件推薦延伸到使用者採用套件的流程,不表示自主 agent 之間已傳播錯誤,也不表示研究已觀察到惡意程式執行或正式環境入侵。
模型編造不存在的套件名稱;研究者註冊空套件並記錄下載,惡意套件執行則是有條件的後續風險。