An adversary may rely upon a user to load, execute, interpret, or otherwise use a malicious or unsafe artifact. In AI systems, user execution may include loading a model or causing an inference runtime to process executable or behavior-shaping components bundled with an AI artifact. The resulting effect may include host code execution or malicious AI behavior. Users may inadvertently execute unsafe code introduced via [AI Supply Chain Compromise](/techniques/AML.T0010). Users may be subjected to social engineering to get them to execute malicious code by, for example, opening a malicious document file or link.
Cybernews 的研究人員示範了聯想的 AI 聊天機器人「Lena」有提示詞注入漏洞:它會產生惡意 HTML 並存進對話記錄中,之後在真人客服的瀏覽器中顯示時,就能把該客服的工作階段 cookie 外洩出去。 研究人員送給 Lena 的,是一個看起來人畜無害的產品資訊查詢,但其中夾帶了要求以危險 HTML 內容回覆的指示。這段回覆被存進使用者的對話記錄中,形成一個儲存型跨網站腳本(XSS)攻擊內容。當研究人員要求轉接真人客服時,客服照著正常流程打開對話記錄,就讓這段被投毒的內容顯示出來,把工作階段 cookie 的資料送到攻擊者控制的伺服器。如果一個仍然有效的客服 cookie 被重複使用,攻擊者就可能以該客服的身分登入聯想的客戶支援平台,查看客戶對話,或執行該帳號可用的其他操作。 聯想已承認這個問題,並表示已採取修正措施,以降低潛在影響並處理這個問題。
Zafran 的 DifyTap 研究串起 Dify(讓多個組織或團隊共用同一套服務的 AI 應用平台)中多條資料外洩路徑,包括未經授權的對話存取、Plugin Daemon(Dify 的外掛服務)的內部 API、跨租戶文件預覽(例如:研究者能在未檢查權限的預覽路徑讀到其他租戶上傳的 PDF 與圖片;同一租戶內也能藉別人的檔案 UUID 取得檔案),以及 PDF 預覽解析器中的安全漏洞。這不是修補單一漏洞就能解決的問題:多租戶 AI 平台必須在每個資料處理環節重新驗證物件層級的權限,隔離不同租戶的執行狀態,對遙測資料中的機敏資訊做適當遮罩(masking,移除或替換記錄中的機敏內容),並把文件解析工作放進隔離的沙箱環境。