Exercise · 2026-11-16
Lazarus 研究探討如何只修改開放權重模型裡的少量休眠神經元,就能在模型中暗藏後門(例如論文測試時以單純印出 LAZARUS_OK 標記的 printf LAZARUS_OK 命令當目標;不過模型輸出這段文字和在真實主機上真的執行系統命令,是兩件必須分開解讀的事)。整條攻擊路徑成立的關鍵前提,在於攻擊者必須先能掌控之後會被防守方採納的模型檢查點(checkpoint,保存模型權重與狀態的成品)。研究結果支持加強模型來源審查與工具隔離,同時也提醒讀者必須把論文裡不同類型的預測實驗與實際執行實驗分開看待。
關聯理由: 採用外部修改的檢查點,會把其後門引入程式開發 agent。
只有主要實驗實際執行的無害標記路徑支持執行主張;動作格式預測維持較窄的測量範圍。
AIA · 閱讀完整案例 ↗
Exercise · 2026-11-16
Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。
關聯理由: 重用已準備的檢查點,會把惡意行為帶入採用者的 agent。
資料集與模型檢查點實驗分開呈現;工具呼叫被接受、實際執行及正式環境入侵不能混為一談。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-10-30
趨勢科技的研究人員利用服務索引平台與網路搜尋工具,找出超過 8,000 個設定不當、暴露在網際網路上的私有容器登錄庫。其中約有 70% 的登錄庫,存取控制也過於寬鬆,甚至允許寫入。在分析過程中,研究人員在這些開放的登錄庫裡,找到超過 1,000 個內嵌在私有容器映像檔中的 AI 模型,而且不需要身分驗證就能拉下來。 這種暴露會讓攻擊者可以下載、檢視並修改容器內容,包括機敏的 AI 模型檔案。這等於把有價值的智慧財產攤在攻擊者面前,讓它可能被竊走。攻擊者也可以把被動過手腳的映像檔推回登錄庫,形成供應鏈攻擊,破壞正式系統所使用 AI 模型的完整性。
關聯理由: 暴露 registry 允許取得模型與替換映像;區分已知暴露與潛在後續利用。 此處對應「機器學習供應鏈弱點」:攻擊者入侵下游開發人員會重用的模型來源,例如公開模型集合或第三方機器學習服務。 暴露 registry 允許取得模型與替換映像;區分已知暴露與潛在後續利用。
調查確認了登錄庫暴露;另有受控模擬示範模型參數修改與重新封裝。未證實公開部署已下載被竄改的映像。
SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-10-30
資安研究人員 threlfall_hax(https://5stars217.github.io/)在公開模型儲存平台 Hugging Face 上,建立了幾個冒充真實公司的組織帳號。這些假的 Hugging Face 組織帳號看起來很正式,被冒充公司的員工因此主動申請加入,以為那就是公司內部用來分享模型的官方空間。這讓研究人員完整取得了員工上傳的所有 AI 模型,包括把模型替換成惡意版本的能力。研究人員也示範了他可以把惡意程式嵌進一個 AI 模型中,藉此進入受害組織的環境。從這裡開始,攻擊者就能發動一連串具破壞性的攻擊,例如竊取智慧財產,或毒害受害者環境中的其他 AI 模型。
關聯理由: 假冒 Hugging Face 組織取得模型及替換權限。 此處對應「機器學習供應鏈弱點」:攻擊者入侵下游開發人員會重用的模型來源,例如公開模型集合或第三方機器學習服務。 假冒 Hugging Face 組織取得模型及替換權限。
假冒 Hugging Face 組織取得模型及替換權限。
SecureFlow · 閱讀完整案例 ↗
Incident · 2026-08-06
ReversingLabs 的研究人員發現,Hugging Face 模型儲存庫上託管著內嵌惡意程式的模型。這些模型一被載入就會建立反向 shell,讓攻擊者取得對受害者系統的指揮控制能力。Hugging Face 使用 Picklescan 掃描模型中的惡意程式碼,但這些模型並沒有被標記為惡意。研究人員發現,這些模型檔案似乎是被刻意弄壞的:惡意內容會先被執行,模型才在最後反序列化失敗;而 Picklescan 的運作前提,正是必須能完整反序列化整個模型。 在得知這個問題之後,Hugging Face 已移除這些模型,並修改 Picklescan 以攔下這種特定攻擊。不過 pickle 檔案本質上就不安全,因為它允許執行任意程式碼,而且可能還有其他類型的惡意 pickle 是 Picklescan 偵測不到的。
關聯理由: 模型 pickle 在完整反序列化失敗前先執行惡意程式;不把這件事稱為權重投毒。 此處對應「機器學習供應鏈弱點」:攻擊者入侵下游開發人員會重用的模型來源,例如公開模型集合或第三方機器學習服務。
模型 pickle 在完整反序列化失敗前先執行惡意程式;不把這件事稱為權重投毒。
SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-08-02
Pillar Security 與 Fujitsu 的研究人員證實,攻擊者不必修改模型權重,只要竄改 GGUF(常見的量化模型封裝格式)裡的 Jinja 對話範本(用來組合模型提示詞的範本程式),就能在特定條件出現時,把攻擊指令插進系統層級的上下文。研究人員在受控測試環境中發現這種後門不只改變模型輸出,也挾持了 BrowserUse 與 OpenHands 的工具操作(例如:在模擬購物網站的測試中,結帳內容出現 Card Number 與 CVV 時,後門讓 agent 將合成付款資料傳到研究者的本機接收端)。防禦方必須把對話範本視為含有可執行邏輯的釋出成品,驗證完整內容與來源、測試每次格式轉換,並在模型之外限制工具權限和機敏資料去向。
關聯理由: 外部模型檔內含依觸發條件啟動的範本後門;採用重新散布的模型檔後,下游模型或 agent 也會繼承這些行為。
chat template 於推論時注入指令;模型權重未變,不標為權重投毒。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-08-02
Unit 42 的研究顯示,只要 Hugging Face 作者命名空間 (namespace, 模型平台上用來區分作者或組織所屬模型的名稱範圍)被刪除,或模型移轉後舊作者命名空間又變成可被他人註冊,下游程式碼、設定與文件裡未更新的模型參照就可能改指向攻擊者重新註冊的命名空間。研究人員在受控測試環境中註冊已被放棄的名稱、重建原本的模型路徑,讓 Vertex AI 與 Azure AI Foundry 部署流程載入含有反向 shell(由受影響環境主動連回外部、讓對方取得命令列)的模型;原作者帳號並未遭入侵。防禦方不能再把熟悉的名稱當成模型身分,而要以不可變的成品雜湊值與簽章者身分固定模型版本、監看命名空間生命週期、使用內部鏡像站,並隔離模型載入流程。
關聯理由: 重用已刪除的模型作者命名空間,讓未固定版本的舊參照取得替代模型。 此處對應「機器學習供應鏈弱點」:攻擊者入侵下游開發人員會重用的模型來源,例如公開模型集合或第三方機器學習服務。
重用已刪除的模型作者命名空間,讓未固定版本的舊參照取得替代模型。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-08-02
Mithril Security 的研究人員示範了如何對一個開源的預訓練大型語言模型(LLM)投毒,讓它回答一項錯誤的事實。接著他們把這個遭投毒的模型上傳回 HuggingFace,也就是目前最大的公開模型中心,藉此凸顯 LLM 供應鏈的脆弱之處。使用者原本可能下載到這個遭投毒的模型,接收並散播被汙染的資料與錯誤資訊,造成各種潛在危害。
關聯理由: PoisonGPT 直接修改模型,再分發會回答錯誤事實的成品。 此處對應「機器學習供應鏈弱點」:攻擊者入侵下游開發人員會重用的模型來源,例如公開模型集合或第三方機器學習服務。
PoisonGPT 直接修改模型,再分發會回答錯誤事實的成品。
SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-05-26
HiddenLayer 揭露的 CVE-2026-45829,問題出在 ChromaDB(開源向量資料庫 (vector database, 儲存數字向量並搜尋相近資料的資料庫))的 Python FastAPI 伺服器:攻擊者不用登入,只要送一個建立 collection(ChromaDB 裡用來存放一組向量資料與設定的集合)的 API 請求,就能讓伺服器在完成驗證前,就已經下載並執行攻擊者控制的 Hugging Face 模型程式碼。從 API 使用者的角度看,這個請求最後可能還是失敗;但對攻擊者來說,惡意程式碼已經在 ChromaDB 伺服器裡跑過了。 這篇的防禦重點很清楚:載入模型不是單純讀資料,而可能是在執行程式碼。向量資料庫如果允許用戶端指定 embedding 模型(把文字轉成向量,讓系統能做語意搜尋的模型),就必須先驗證身分,再限制模型來源、擋掉 trust_remote_code 這類危險載入設定,並把第一次載入模型的動作隔離起來。
關聯理由: collection 設定在認證前載入外部模型程式碼;API 最後回錯誤也無法撤銷已執行程式。 此處對應「機器學習供應鏈弱點」:攻擊者入侵下游開發人員會重用的模型來源,例如公開模型集合或第三方機器學習服務。
collection 設定在認證前載入外部模型程式碼;API 最後回錯誤也無法撤銷已執行程式。
AIA · 閱讀完整案例 ↗
Incident · 2026-04-24
JFrog 這篇 2024 年研究提醒我們一件很實際的事:Hugging Face(常用的 AI 模型與資料集平台)上的模型不一定只是「資料檔」,也可能是攻擊者拿來下手的入口。研究人員發現,有 PyTorch 模型會利用 pickle 反序列化(deserialization,把檔案內容還原成程式物件的載入過程)觸發惡意程式,接著建立反向 shell(reverse shell,受害主機主動連回攻擊者,讓對方拿到命令列控制權)。 所以防線不能只停在「這個模型名稱看起來可不可信」。真正要管的是模型來源、檔案格式、載入規則、第一次執行時的隔離,還有載入環境能不能對外連線。
關聯理由: pickle 成品執行 reverse shell;不將可執行惡意程式當作模型權重後門。 此處對應「機器學習供應鏈弱點」:攻擊者入侵下游開發人員會重用的模型來源,例如公開模型集合或第三方機器學習服務。
pickle 成品執行 reverse shell;不將可執行惡意程式當作模型權重後門。
AIA · 閱讀完整案例 ↗