Adversaries may create accounts with various services for use in targeting, to gain access to resources needed in [AI Attack Staging](/tactics/AML.TA0001), or for victim impersonation.
資安研究人員 threlfall_hax(https://5stars217.github.io/)在公開模型儲存平台 Hugging Face 上,建立了幾個冒充真實公司的組織帳號。這些假的 Hugging Face 組織帳號看起來很正式,被冒充公司的員工因此主動申請加入,以為那就是公司內部用來分享模型的官方空間。這讓研究人員完整取得了員工上傳的所有 AI 模型,包括把模型替換成惡意版本的能力。研究人員也示範了他可以把惡意程式嵌進一個 AI 模型中,藉此進入受害組織的環境。從這裡開始,攻擊者就能發動一連串具破壞性的攻擊,例如竊取智慧財產,或毒害受害者環境中的其他 AI 模型。
Clearview AI 開發了一套人臉辨識工具,能在公開照片中搜尋相符的對象。這套工具曾被執法機關與其他單位用於調查用途。 Clearview AI 的原始碼儲存庫雖然有密碼保護,但設定上出了錯,讓任何人都能自行註冊帳號。這使得一名外部研究人員得以進入這個私有的程式碼儲存庫,裡面存有 Clearview AI 的正式環境憑證、可存取雲端儲存 bucket(內含 7 萬支影片樣本)的金鑰,以及該公司應用程式的副本與 Slack token。一旦拿到訓練資料,惡意行為者就有能力讓已部署的模型產生任意的錯誤分類。這類攻擊說明了一件事:要保護 ML 系統,必須先做好「傳統」的資安基本功,例如以最小權限鎖定系統、多因素驗證(MFA),以及監控與稽核。
Unit 42 的研究顯示,只要 Hugging Face 作者命名空間 (namespace, 模型平台上用來區分作者或組織所屬模型的名稱範圍)被刪除,或模型移轉後舊作者命名空間又變成可被他人註冊,下游程式碼、設定與文件裡未更新的模型參照就可能改指向攻擊者重新註冊的命名空間。研究人員在受控測試環境中註冊已被放棄的名稱、重建原本的模型路徑,讓 Vertex AI 與 Azure AI Foundry 部署流程載入含有反向 shell(由受影響環境主動連回外部、讓對方取得命令列)的模型;原作者帳號並未遭入侵。防禦方不能再把熟悉的名稱當成模型身分,而要以不可變的成品雜湊值與簽章者身分固定模型版本、監看命名空間生命週期、使用內部鏡像站,並隔離模型載入流程。