8.3 · 模型生命週期缺少人類參與(HITL)

閱讀 Databricks DASF 3.0 中 8.3「模型生命週期缺少人類參與(HITL)」相關的 1 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

模型生命週期控制不足,讓錯誤或未核准的模型進入正式環境。若缺少權限檢查、版本追蹤、升級核准或人工監督,就更難確認實際部署的是哪個模型,以及是否獲准。風險在於開發到正式環境的移轉失去管控,進而影響模型完整性、可靠性與安全性。

框架官方來源 ↗ · 開啟互動探索 ↗

Validated Research ·

模型命名空間被重新註冊後,原本可信的名稱也可能改指向惡意模型

Unit 42 的研究顯示,只要 Hugging Face 作者命名空間 (namespace, 模型平台上用來區分作者或組織所屬模型的名稱範圍)被刪除,或模型移轉後舊作者命名空間又變成可被他人註冊,下游程式碼、設定與文件裡未更新的模型參照就可能改指向攻擊者重新註冊的命名空間。研究人員在受控測試環境中註冊已被放棄的名稱、重建原本的模型路徑,讓 Vertex AI 與 Azure AI Foundry 部署流程載入含有反向 shell(由受影響環境主動連回外部、讓對方取得命令列)的模型;原作者帳號並未遭入侵。防禦方不能再把熟悉的名稱當成模型身分,而要以不可變的成品雜湊值與簽章者身分固定模型版本、監看命名空間生命週期、使用內部鏡像站,並隔離模型載入流程。

關聯理由: 重用已刪除的模型作者命名空間,讓未固定版本的舊參照取得替代模型。 此處對應「模型生命週期缺少人類參與(HITL)」:模型生命週期控制不足,讓錯誤或未核准的模型進入正式環境。

重用已刪除的模型作者命名空間,讓未固定版本的舊參照取得替代模型。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗