AI SECURITY CASES × FRAMEWORKS
1.3 · 資料品質不佳
閱讀 Databricks DASF 3.0 中 1.3「資料品質不佳」相關的 2 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明
AI 系統所用的資料,在正確性、完整性、即時性或規則符合程度上不足。品質問題可能來自惡意竄改,也可能只是一般使用者的錯誤,但都可能影響分析結果與模型決策。追蹤資料來源及轉換過程、套用資料品質規則,並監控後續變化,有助於找出資料從哪個環節開始失去可靠性。
框架官方來源 ↗ · 開啟互動探索 ↗
Validated Research · · 實務關聯
Zenity 在 AWS Bedrock AgentCore(代管 AI agent 執行環境)的受控測試中,針對具備網路工具且執行角色權限過大的 agent 進行驗證。agent 先從中繼資料端點取得臨時角色憑證並傳出,研究人員隨後在平台外直接呼叫 AWS API,存取其他 agent 與記憶庫。本案關鍵在於示範持久化攻擊鏈:先寫入短期對話事件(STM),再藉由系統已設定的擷取策略沉澱為長期記憶(LTM),使後續讀取該記憶的 agent 被導向攻擊者可隨時修改指令的外部網頁。此攻擊鏈證明的影響範圍侷限於同一 AWS 帳號與區域,並未逃逸出 microVM,亦非自動跨帳號入侵。研究人員在 9 月 29 日觀察到 AWS 已大幅限縮預設角色的權限範本,但既有已部署的角色仍須團隊獨立清查。
關聯理由: 偽造對話資料變成後續模型決策使用的保留資訊。 受影響資料是執行中的 agent 記憶,不是已證實的模型訓練資料集。
受控的廣權限 AgentCore 部署,分開呈現直接 API 與保留記憶/命令網頁路徑;明列帳號區域、工具前提及後續預設角色限縮。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research ·
近年許多大規模資料集的發布方式,是給出一份網址清單,每個網址指向一筆資料。研究人員指出,這類資料集很多都擋不住所謂的「分歧視角(split-view)」投毒攻擊。這個攻擊利用的是一個時間差:當初蒐集資料集時看到的內容,和使用者後來下載來訓練時看到的內容,可能已經不一樣。研究人員找出那些曾經託管過資料集內容、但如今已到期而且可以買下來的網域,因此有辦法把資料集的一部分換成投毒後的資料。他們示範了在 10 個熱門的網路規模資料集中,可買到的網域數量都足以成功發動投毒攻擊。
關聯理由: 公開的資料集 URL 清單明確指出後續會下載哪些影像來源。研究者接手清單內的過期網域後,就能替換後續下載者取得的樣本,破壞原始蒐集與日後下載之間的資料完整性。研究沒有對公開下載投毒;模型影響是在本機替換影像、重新訓練 CLIP 後驗證的。
重新購買資料集 URL 的過期網域,改變之後下載的訓練資料。
SecureFlow · 閱讀完整案例 ↗