ML10:2023 · 模型投毒

閱讀 OWASP ML Top 10 (2023) 中 ML10:2023「模型投毒」相關的 6 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者操弄模型參數,讓模型產生不符合預期的行為。參數可能遭直接修改,也可能因被竄改的訓練樣本而改變;官方範例是支票辨識模型遭操控,將某個數字辨識成另一個數字,導致金額處理錯誤。這項風險的核心是模型學到的行為遭破壞,不以載入模型檔案時執行惡意程式碼為成立條件。

框架官方來源 ↗ · 開啟互動探索 ↗

Exercise ·

Lazarus 研究:少量權重修改,也能藏入 Agent 觸發式後門

Lazarus 研究探討如何只修改開放權重模型裡的少量休眠神經元,就能在模型中暗藏後門(例如論文測試時以單純印出 LAZARUS_OK 標記的 printf LAZARUS_OK 命令當目標;不過模型輸出這段文字和在真實主機上真的執行系統命令,是兩件必須分開解讀的事)。整條攻擊路徑成立的關鍵前提,在於攻擊者必須先能掌控之後會被防守方採納的模型檢查點(checkpoint,保存模型權重與狀態的成品)。研究結果支持加強模型來源審查與工具隔離,同時也提醒讀者必須把論文裡不同類型的預測實驗與實際執行實驗分開看待。

關聯理由: 攻擊者直接改變模型參數,植入依觸發條件啟動的隱藏行為。

只有主要實驗實際執行的無害標記路徑支持執行主張;動作格式預測維持較窄的測量範圍。

AIA · 閱讀完整案例 ↗

Exercise ·

Trained to Betray:投毒訓練資料與模型如何誘使程式開發 Agent 執行惡意工具呼叫

Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。

關聯理由: 投毒資料訓練與攻擊者端檢查點訓練,都改變學得的參數與行為。

資料集與模型檢查點實驗分開呈現;工具呼叫被接受、實際執行及正式環境入侵不能混為一談。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

以供應鏈攻擊竄改 AI 模型

趨勢科技的研究人員利用服務索引平台與網路搜尋工具,找出超過 8,000 個設定不當、暴露在網際網路上的私有容器登錄庫。其中約有 70% 的登錄庫,存取控制也過於寬鬆,甚至允許寫入。在分析過程中,研究人員在這些開放的登錄庫裡,找到超過 1,000 個內嵌在私有容器映像檔中的 AI 模型,而且不需要身分驗證就能拉下來。 這種暴露會讓攻擊者可以下載、檢視並修改容器內容,包括機敏的 AI 模型檔案。這等於把有價值的智慧財產攤在攻擊者面前,讓它可能被竊走。攻擊者也可以把被動過手腳的映像檔推回登錄庫,形成供應鏈攻擊,破壞正式系統所使用 AI 模型的完整性。

關聯理由: 受控模擬在重新封裝映像檔前,修改模型參數。

調查確認了登錄庫暴露;另有受控模擬示範模型參數修改與重新封裝。未證實公開部署已下載被竄改的映像。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

Hugging Face 上的組織身分混淆

資安研究人員 threlfall_hax(https://5stars217.github.io/)在公開模型儲存平台 Hugging Face 上,建立了幾個冒充真實公司的組織帳號。這些假的 Hugging Face 組織帳號看起來很正式,被冒充公司的員工因此主動申請加入,以為那就是公司內部用來分享模型的官方空間。這讓研究人員完整取得了員工上傳的所有 AI 模型,包括把模型替換成惡意版本的能力。研究人員也示範了他可以把惡意程式嵌進一個 AI 模型中,藉此進入受害組織的環境。從這裡開始,攻擊者就能發動一連串具破壞性的攻擊,例如竊取智慧財產,或毒害受害者環境中的其他 AI 模型。

關聯理由: 另一個 EasyEdit/MEND 示範修改 Llama 模型的事實關聯;這與 Keras 程式載入是不同分支。

假冒 Hugging Face 組織取得模型及替換權限。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

針對行動 App 中深度學習模型的後門攻擊

深度學習模型越來越常成為行動應用程式中的關鍵元件。微軟研究院的研究人員示範了,許多部署在行動 App 裡的深度學習模型,都可能被「神經負載注入」(neural payload injection)這種手法植入後門。他們針對從 Google Play 蒐集來的真實行動深度學習 App 做了實證研究,找出 54 個會受到這種攻擊影響的 App,其中包括用於鈔票辨識、家長監護、人臉驗證與金融服務等安全至關重要的熱門應用程式。

關聯理由: 對行動應用程式中的模型植入神經網路後門。 此處對應「模型投毒」:攻擊者操弄模型參數,讓模型產生不符合預期的行為。

對行動應用程式中的模型植入神經網路後門。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

PoisonGPT:把植入假事實的模型混進 Hugging Face

Mithril Security 的研究人員示範了如何對一個開源的預訓練大型語言模型(LLM)投毒,讓它回答一項錯誤的事實。接著他們把這個遭投毒的模型上傳回 HuggingFace,也就是目前最大的公開模型中心,藉此凸顯 LLM 供應鏈的脆弱之處。使用者原本可能下載到這個遭投毒的模型,接收並散播被汙染的資料與錯誤資訊,造成各種潛在危害。

關聯理由: PoisonGPT 直接修改模型,再分發會回答錯誤事實的成品。 此處對應「模型投毒」:攻擊者操弄模型參數,讓模型產生不符合預期的行為。

PoisonGPT 直接修改模型,再分發會回答錯誤事實的成品。

SecureFlow · 閱讀完整案例 ↗