AI SECURITY CASES × FRAMEWORKS
9.6 · 機器學習模型輸出分類結構探查
閱讀 Databricks DASF 3.0 中 9.6「機器學習模型輸出分類結構探查」相關的 1 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明
攻擊者找出機器學習模型設計上能辨識哪些類別,以及可能產生哪些輸出。反覆查詢、設定檔或文件,都可能揭露模型使用的物件類別、標籤或回應範圍。掌握這些資訊後,攻擊者就更容易依模型的實際能力與弱點,挑選目標並設計輸入。
框架官方來源 ↗ · 開啟互動探索 ↗
Exercise ·
MITRE 的 AI 紅隊對一項商用人臉辨識服務,示範了實體世界中的規避攻擊,目標是誘導出特定的錯誤辨識結果。這次行動同時用上了傳統的 MITRE ATT&CK 手法,例如找出可用的有效帳號、透過 API 執行程式碼,並在其中穿插了對抗式機器學習專屬的攻擊。
關聯理由: 紅隊透過商用人臉識別服務的推論 API,查出模型可辨識的身分清單,再使用代理模型製作實體對抗貼片。查出的身分類別屬於模型可輸出的分類範圍,不是判斷某人的資料是否曾用於訓練。
實體對抗貼片使人臉識別服務產生指定的錯誤判斷。
SecureFlow · 閱讀完整案例 ↗