閱讀 MITRE ATLAS 中 AML.T0031「Erode AI Model Integrity」相關的 6 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。
風險分類說明
Adversaries may degrade the target model's performance with adversarial data inputs to erode confidence in the system over time. This can lead to the victim organization wasting time and money both attempting to fix the system and performing the tasks it was meant to automate by hand.
Clearview AI 開發了一套人臉辨識工具,能在公開照片中搜尋相符的對象。這套工具曾被執法機關與其他單位用於調查用途。 Clearview AI 的原始碼儲存庫雖然有密碼保護,但設定上出了錯,讓任何人都能自行註冊帳號。這使得一名外部研究人員得以進入這個私有的程式碼儲存庫,裡面存有 Clearview AI 的正式環境憑證、可存取雲端儲存 bucket(內含 7 萬支影片樣本)的金鑰,以及該公司應用程式的副本與 Slack token。一旦拿到訓練資料,惡意行為者就有能力讓已部署的模型產生任意的錯誤分類。這類攻擊說明了一件事:要保護 ML 系統,必須先做好「傳統」的資安基本功,例如以最小權限鎖定系統、多因素驗證(MFA),以及監控與稽核。