1.11 · 第三方資料集遭入侵

閱讀 Databricks DASF 3.0 中 1.11「第三方資料集遭入侵」相關的 3 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者在組織採用第三方資料集之前,先對其投毒。手法可能是發布新的惡意資料集、修改目標已使用的公開資料來源,或散布合法資料集的投毒版本。這種供應鏈入侵,會把攻擊者控制的訓練內容帶入信任該來源或散布管道的系統。

框架官方來源 ↗ · 開啟互動探索 ↗

Exercise ·

Trained to Betray:投毒訓練資料與模型如何誘使程式開發 Agent 執行惡意工具呼叫

Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。

關聯理由: 研究中的投毒資料集變體,被供應給下游模型調適使用。

資料集與模型檢查點實驗分開呈現;工具呼叫被接受、實際執行及正式環境入侵不能混為一談。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

網路規模資料集投毒:分歧視角攻擊

近年許多大規模資料集的發布方式,是給出一份網址清單,每個網址指向一筆資料。研究人員指出,這類資料集很多都擋不住所謂的「分歧視角(split-view)」投毒攻擊。這個攻擊利用的是一個時間差:當初蒐集資料集時看到的內容,和使用者後來下載來訓練時看到的內容,可能已經不一樣。研究人員找出那些曾經託管過資料集內容、但如今已到期而且可以買下來的網域,因此有辦法把資料集的一部分換成投毒後的資料。他們示範了在 10 個熱門的網路規模資料集中,可買到的網域數量都足以成功發動投毒攻擊。

關聯理由: 重新購買資料集 URL 的過期網域,改變之後下載的訓練資料。 此處對應「第三方資料集遭入侵」:攻擊者在組織採用第三方資料集之前,先對其投毒。

重新購買資料集 URL 的過期網域,改變之後下載的訓練資料。

SecureFlow · 閱讀完整案例 ↗

Incident ·

VirusTotal 遭投毒

McAfee 進階威脅研究團隊注意到,某個勒索軟體家族的回報數量出現不尋常的增加。調查後發現,該家族的許多樣本是在很短的時間內,透過一個熱門的病毒分享平台上傳的。進一步分析顯示,以字串相似度來看,這些樣本其實完全等價;以程式碼相似度來看,彼此的相似度介於 98% 到 74% 之間。更值得注意的是,所有樣本的編譯時間都一模一樣。研究人員繼續追查後發現,有人使用了 metame 這個變形程式碼操作工具,把原始檔案改寫成多個變體。這些變體不一定都能執行,但仍會被歸類為同一個勒索軟體家族。

關聯理由: 大量變形樣本進入病毒共享平台,影響樣本分布;不宣稱每個變種可執行。 此處對應「第三方資料集遭入侵」:攻擊者在組織採用第三方資料集之前,先對其投毒。 大量變形樣本進入病毒共享平台,影響樣本分布;不宣稱每個變種可執行。

大量變形樣本進入病毒共享平台,影響樣本分布;不宣稱每個變種可執行。

SecureFlow · 閱讀完整案例 ↗