10.3 · 機器學習模型輸出分類結構探查

閱讀 Databricks DASF 3.0 中 10.3「機器學習模型輸出分類結構探查」相關的 1 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者掌握模型的輸出類別,以及它能辨識哪些物件或產生哪些回應。資訊可能來自反覆觀察回應,也可能從設定檔與文件取得。了解輸出範圍後,攻擊者便能依模型實際辨識的內容,設計後續查詢與攻擊。

框架官方來源 ↗ · 開啟互動探索 ↗

Exercise ·

以實體對抗物規避人臉辨識系統

MITRE 的 AI 紅隊對一項商用人臉辨識服務,示範了實體世界中的規避攻擊,目標是誘導出特定的錯誤辨識結果。這次行動同時用上了傳統的 MITRE ATT&CK 手法,例如找出可用的有效帳號、透過 API 執行程式碼,並在其中穿插了對抗式機器學習專屬的攻擊。

關聯理由: 紅隊透過商用人臉識別服務的推論 API,查出模型可辨識的身分清單,再使用代理模型製作實體對抗貼片。查出的身分類別屬於模型可輸出的分類範圍,不是判斷某人的資料是否曾用於訓練。

實體對抗貼片使人臉識別服務產生指定的錯誤判斷。

SecureFlow · 閱讀完整案例 ↗