MST · 模型來源竄改

閱讀 Google SAIF 2.0 中 MST「模型來源竄改」相關的 11 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者透過供應鏈或內部人員的存取權,竄改模型原始碼、相依元件或權重。模型建置程式及其相依元件遭修改後,可能引入漏洞或非預期行為,影響也可能沿著多層相依關係傳遞。這個類別也包含植入神經網路架構的後門;由於遭竄改的結構仍然存在,這類後門可能在重新訓練後繼續保留。

框架官方來源 ↗ · 開啟互動探索 ↗

Exercise ·

Lazarus 研究:少量權重修改,也能藏入 Agent 觸發式後門

Lazarus 研究探討如何只修改開放權重模型裡的少量休眠神經元,就能在模型中暗藏後門(例如論文測試時以單純印出 LAZARUS_OK 標記的 printf LAZARUS_OK 命令當目標;不過模型輸出這段文字和在真實主機上真的執行系統命令,是兩件必須分開解讀的事)。整條攻擊路徑成立的關鍵前提,在於攻擊者必須先能掌控之後會被防守方採納的模型檢查點(checkpoint,保存模型權重與狀態的成品)。研究結果支持加強模型來源審查與工具隔離,同時也提醒讀者必須把論文裡不同類型的預測實驗與實際執行實驗分開看待。

關聯理由: 攻擊者直接修改供應給下游的模型權重,植入具有觸發條件的後門。

只有主要實驗實際執行的無害標記路徑支持執行主張;動作格式預測維持較窄的測量範圍。

AIA · 閱讀完整案例 ↗

Exercise ·

Trained to Betray:投毒訓練資料與模型如何誘使程式開發 Agent 執行惡意工具呼叫

Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。

關聯理由: 另一條檢查點路徑供應刻意植入後門的權重。

資料集與模型檢查點實驗分開呈現;工具呼叫被接受、實際執行及正式環境入侵不能混為一談。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

以供應鏈攻擊竄改 AI 模型

趨勢科技的研究人員利用服務索引平台與網路搜尋工具,找出超過 8,000 個設定不當、暴露在網際網路上的私有容器登錄庫。其中約有 70% 的登錄庫,存取控制也過於寬鬆,甚至允許寫入。在分析過程中,研究人員在這些開放的登錄庫裡,找到超過 1,000 個內嵌在私有容器映像檔中的 AI 模型,而且不需要身分驗證就能拉下來。 這種暴露會讓攻擊者可以下載、檢視並修改容器內容,包括機敏的 AI 模型檔案。這等於把有價值的智慧財產攤在攻擊者面前,讓它可能被竊走。攻擊者也可以把被動過手腳的映像檔推回登錄庫,形成供應鏈攻擊,破壞正式系統所使用 AI 模型的完整性。

關聯理由: 示範中的操控改變儲存的模型權重或架構。

調查確認了登錄庫暴露;另有受控模擬示範模型參數修改與重新封裝。未證實公開部署已下載被竄改的映像。

SecureFlow · 閱讀完整案例 ↗

Incident ·

Hugging Face 上的惡意模型

ReversingLabs 的研究人員發現,Hugging Face 模型儲存庫上託管著內嵌惡意程式的模型。這些模型一被載入就會建立反向 shell,讓攻擊者取得對受害者系統的指揮控制能力。Hugging Face 使用 Picklescan 掃描模型中的惡意程式碼,但這些模型並沒有被標記為惡意。研究人員發現,這些模型檔案似乎是被刻意弄壞的:惡意內容會先被執行,模型才在最後反序列化失敗;而 Picklescan 的運作前提,正是必須能完整反序列化整個模型。 在得知這個問題之後,Hugging Face 已移除這些模型,並修改 Picklescan 以攔下這種特定攻擊。不過 pickle 檔案本質上就不安全,因為它允許執行任意程式碼,而且可能還有其他類型的惡意 pickle 是 Picklescan 偵測不到的。

關聯理由: 模型 pickle 在完整反序列化失敗前先執行惡意程式;不把這件事稱為權重投毒。 此處對應「模型來源竄改」:攻擊者透過供應鏈或內部人員的存取權,竄改模型原始碼、相依元件或權重。

模型 pickle 在完整反序列化失敗前先執行惡意程式;不把這件事稱為權重投毒。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

針對行動 App 中深度學習模型的後門攻擊

深度學習模型越來越常成為行動應用程式中的關鍵元件。微軟研究院的研究人員示範了,許多部署在行動 App 裡的深度學習模型,都可能被「神經負載注入」(neural payload injection)這種手法植入後門。他們針對從 Google Play 蒐集來的真實行動深度學習 App 做了實證研究,找出 54 個會受到這種攻擊影響的 App,其中包括用於鈔票辨識、家長監護、人臉驗證與金融服務等安全至關重要的熱門應用程式。

關聯理由: 對行動應用程式中的模型植入神經網路後門。 此處對應「模型來源竄改」:攻擊者透過供應鏈或內部人員的存取權,竄改模型原始碼、相依元件或權重。

對行動應用程式中的模型植入神經網路後門。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

惡意 GGUF 對話範本不改模型權重,也能在推論時植入後門

Pillar Security 與 Fujitsu 的研究人員證實,攻擊者不必修改模型權重,只要竄改 GGUF(常見的量化模型封裝格式)裡的 Jinja 對話範本(用來組合模型提示詞的範本程式),就能在特定條件出現時,把攻擊指令插進系統層級的上下文。研究人員在受控測試環境中發現這種後門不只改變模型輸出,也挾持了 BrowserUse 與 OpenHands 的工具操作(例如:在模擬購物網站的測試中,結帳內容出現 Card Number 與 CVV 時,後門讓 agent 將合成付款資料傳到研究者的本機接收端)。防禦方必須把對話範本視為含有可執行邏輯的釋出成品,驗證完整內容與來源、測試每次格式轉換,並在模型之外限制工具權限和機敏資料去向。

關聯理由: chat template 於推論時注入指令;模型權重未變,不標為權重投毒。 此處對應「模型來源竄改」:攻擊者透過供應鏈或內部人員的存取權,竄改模型原始碼、相依元件或權重。

chat template 於推論時注入指令;模型權重未變,不標為權重投毒。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

模型命名空間被重新註冊後,原本可信的名稱也可能改指向惡意模型

Unit 42 的研究顯示,只要 Hugging Face 作者命名空間 (namespace, 模型平台上用來區分作者或組織所屬模型的名稱範圍)被刪除,或模型移轉後舊作者命名空間又變成可被他人註冊,下游程式碼、設定與文件裡未更新的模型參照就可能改指向攻擊者重新註冊的命名空間。研究人員在受控測試環境中註冊已被放棄的名稱、重建原本的模型路徑,讓 Vertex AI 與 Azure AI Foundry 部署流程載入含有反向 shell(由受影響環境主動連回外部、讓對方取得命令列)的模型;原作者帳號並未遭入侵。防禦方不能再把熟悉的名稱當成模型身分,而要以不可變的成品雜湊值與簽章者身分固定模型版本、監看命名空間生命週期、使用內部鏡像站,並隔離模型載入流程。

關聯理由: 重用已刪除的模型作者命名空間,讓未固定版本的舊參照取得替代模型。 此處對應「模型來源竄改」:攻擊者透過供應鏈或內部人員的存取權,竄改模型原始碼、相依元件或權重。

重用已刪除的模型作者命名空間,讓未固定版本的舊參照取得替代模型。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

PoisonGPT:把植入假事實的模型混進 Hugging Face

Mithril Security 的研究人員示範了如何對一個開源的預訓練大型語言模型(LLM)投毒,讓它回答一項錯誤的事實。接著他們把這個遭投毒的模型上傳回 HuggingFace,也就是目前最大的公開模型中心,藉此凸顯 LLM 供應鏈的脆弱之處。使用者原本可能下載到這個遭投毒的模型,接收並散播被汙染的資料與錯誤資訊,造成各種潛在危害。

關聯理由: PoisonGPT 直接修改模型,再分發會回答錯誤事實的成品。 此處對應「模型來源竄改」:攻擊者透過供應鏈或內部人員的存取權,竄改模型原始碼、相依元件或權重。

PoisonGPT 直接修改模型,再分發會回答錯誤事實的成品。

SecureFlow · 閱讀完整案例 ↗

Incident ·

PyTorch 相依套件鏈遭汙染

2022 年 12 月 25 日至 30 日間,PyTorch 預先發行版本 PyTorch-nightly 的 Linux 套件遭到汙染:有人把一個惡意的二進位套件上傳到 Python 套件索引(PyPI),而這個套件的名稱和 PyTorch 的某個相依套件相同,導致 pip 安裝的是這個惡意套件,而不是原本的正版套件。 這種供應鏈攻擊也稱為「相依套件混淆」(dependency confusion),使得以 pip 安裝受影響 PyTorch-nightly 版本的 Linux 主機,機敏資訊遭到外洩。2022 年 12 月 30 日,PyTorch 公布了這起事件與初步的緩解措施,包括把 torchtriton 相依套件更名並移除。

關聯理由: PyTorch-nightly 相依混淆套件竊取主機資訊。 此處對應「模型來源竄改」:攻擊者透過供應鏈或內部人員的存取權,竄改模型原始碼、相依元件或權重。

PyTorch-nightly 相依混淆套件竊取主機資訊。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

ChromaToast:驗證前載入惡意模型,讓向量資料庫變成遠端程式碼執行入口

HiddenLayer 揭露的 CVE-2026-45829,問題出在 ChromaDB(開源向量資料庫 (vector database, 儲存數字向量並搜尋相近資料的資料庫))的 Python FastAPI 伺服器:攻擊者不用登入,只要送一個建立 collection(ChromaDB 裡用來存放一組向量資料與設定的集合)的 API 請求,就能讓伺服器在完成驗證前,就已經下載並執行攻擊者控制的 Hugging Face 模型程式碼。從 API 使用者的角度看,這個請求最後可能還是失敗;但對攻擊者來說,惡意程式碼已經在 ChromaDB 伺服器裡跑過了。 這篇的防禦重點很清楚:載入模型不是單純讀資料,而可能是在執行程式碼。向量資料庫如果允許用戶端指定 embedding 模型(把文字轉成向量,讓系統能做語意搜尋的模型),就必須先驗證身分,再限制模型來源、擋掉 trust_remote_code 這類危險載入設定,並把第一次載入模型的動作隔離起來。

關聯理由: collection 設定在認證前載入外部模型程式碼;API 最後回錯誤也無法撤銷已執行程式。 此處對應「模型來源竄改」:攻擊者透過供應鏈或內部人員的存取權,竄改模型原始碼、相依元件或權重。

collection 設定在認證前載入外部模型程式碼;API 最後回錯誤也無法撤銷已執行程式。

AIA · 閱讀完整案例 ↗

Incident ·

惡意 Hugging Face 模型:模型一載入,後門就跟著打開

JFrog 這篇 2024 年研究提醒我們一件很實際的事:Hugging Face(常用的 AI 模型與資料集平台)上的模型不一定只是「資料檔」,也可能是攻擊者拿來下手的入口。研究人員發現,有 PyTorch 模型會利用 pickle 反序列化(deserialization,把檔案內容還原成程式物件的載入過程)觸發惡意程式,接著建立反向 shell(reverse shell,受害主機主動連回攻擊者,讓對方拿到命令列控制權)。 所以防線不能只停在「這個模型名稱看起來可不可信」。真正要管的是模型來源、檔案格式、載入規則、第一次執行時的隔離,還有載入環境能不能對外連線。

關聯理由: pickle 成品執行 reverse shell;不將可執行惡意程式當作模型權重後門。 此處對應「模型來源竄改」:攻擊者透過供應鏈或內部人員的存取權,竄改模型原始碼、相依元件或權重。

pickle 成品執行 reverse shell;不將可執行惡意程式當作模型權重後門。

AIA · 閱讀完整案例 ↗