AID-H-003.003
高
External Dataset Supply-Chain Provenance Admission
訓練管理者只應從核准發布者取得具有不可變檔案清單的外部互動資料集,並在訓練讀取前逐一驗證暫存檔案。這樣能擋掉未授權替換或來路不明的資料來源;不過可信發布者的簽章只能證明檔案沒被掉包,還不能證明每一筆示範內容都安全無害。
Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。
最後更新: