AI SECURITY CASES × FRAMEWORKS
9.10 · 未授權資料意外暴露給模型
閱讀 Databricks DASF 3.0 中 9.10「未授權資料意外暴露給模型」相關的 3 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明
AI 系統連接的資料來源,讓模型接觸到原本無權使用的資訊。企業文件、資料庫、RAG 來源或特徵儲存庫若給予過大存取範圍,機密內容就可能被帶入推論脈絡。這個風險可能來自不慎整合或權限過大,在有人刻意擷取資訊之前就已存在。
框架官方來源 ↗ · 開啟互動探索 ↗
Validated Research ·
Auth0 揭露了旗下 JavaScript 與 Python AI 擷取整合套件中的授權檢查缺陷。當同一次檢索抓回的多份文件剛好對應到細緻授權(Fine-Grained Authorization,FGA,依使用者、資源與動態條件決定存取權的權限引擎)裡的同一個物件時,系統可能會把不同條件下的授權判斷結果錯誤合併,讓原本應該被拒絕的文件跟著混進模型上下文。因此這起漏洞的防禦關鍵,在於生成回答之前,擷取器是否真的依照每一筆文件的完整條件獨立做好授權驗證。
關聯理由: 遭拒絕的文件在生成前就進入模型上下文;最後答案無害,不能證明文件已正確排除。
JavaScript 與 Python 的碰撞條件及修補套件版本不同,保留各自適用範圍。
AIA · 閱讀完整案例 ↗
Incident ·
Cloudflare 確認,Workers AI 平台上的 GLM-5.3 模型曾有 155 次回應混入其他客戶的請求資料。當時模型設定允許長達 1,048,576 個 token 的上下文,但負責提示詞前置處理(prefill)的記憶體池其實只容納得下 681,280 個 token;過長的提示詞雖然被標記為拒絕,卻還是被送進另一個負責產生回應(decode)的工作程序,結果讀到了記憶體裡尚未覆寫完的殘留 KV cache。這是一起推論服務的記憶體隔離事件,調查並未發現遭到刻意利用的證據。
關聯理由: 先前請求殘留的 KV 狀態雖屬於其他客戶,仍進入後續 decode 操作。
事件涉及平台業者控制的推論狀態隔離;客戶無法靠應用程式提示詞或金鑰輪替修復內部記憶體配置狀態。
AIA · 閱讀完整案例 ↗
Validated Research ·
Zenity 在 AWS Bedrock AgentCore(代管 AI agent 執行環境)的受控測試中,針對具備網路工具且執行角色權限過大的 agent 進行驗證。agent 先從中繼資料端點取得臨時角色憑證並傳出,研究人員隨後在平台外直接呼叫 AWS API,存取其他 agent 與記憶庫。本案關鍵在於示範持久化攻擊鏈:先寫入短期對話事件(STM),再藉由系統已設定的擷取策略沉澱為長期記憶(LTM),使後續讀取該記憶的 agent 被導向攻擊者可隨時修改指令的外部網頁。此攻擊鏈證明的影響範圍侷限於同一 AWS 帳號與區域,並未逃逸出 microVM,亦非自動跨帳號入侵。研究人員在 9 月 29 日觀察到 AWS 已大幅限縮預設角色的權限範本,但既有已部署的角色仍須團隊獨立清查。
關聯理由: 不受限工具將雲端憑證與私有檔案曝露到模型介導的互動。
受控的廣權限 AgentCore 部署,分開呈現直接 API 與保留記憶/命令網頁路徑;明列帳號區域、工具前提及後續預設角色限縮。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗