L1 · 基礎模型

閱讀 MAESTRO 中 L1「基礎模型」相關的 35 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。這一層的威脅包括對抗輸入、訓練資料投毒、模型擷取、隱藏後門、訓練資料成員推論,以及模型行為遭重新操控。若基礎模型遭破壞,建立在其上的 agent 行為也可能受到影響;資源耗盡攻擊則可能讓這些能力無法正常提供服務。

框架官方來源 ↗ · 開啟互動探索 ↗

Exercise ·

TypeSafe AI Jev:偽造判定政策讓分類器召回率驟降並壓低工具風險評分

Datadog Security Labs 針對 TypeSafe AI 推出的快速結構化決策模型 Jev 做了一系列安全性實測。這類主打低延遲的「系統一」模型,不展開長鏈推理,能在單次推論中回傳分類選擇、數值評分或機率,常被用來偵測提示詞注入或評估工具呼叫有沒有風險。研究人員先拿四個公開提示詞注入資料集(共 12,295 筆樣本,含 4,643 筆攻擊與 7,652 筆正常輸入)做測試,發現 Noul 分數以 0.5 為門檻時,原本有 99.66% 的精確率與 82.90% 的召回率;但只要在待審查的不可信文字前面塞入偽造政策、讓模型採用另一套攻擊分類標準,Noul 的召回率就會一口氣掉 79.02 個百分點、只剩 3.88%(等於漏掉 96.12% 的攻擊),甚至有兩個資料集的攻擊樣本全數漏報。研究團隊也在 LangChain 的工具風險評估模擬情境中,測試僅有檢視權限(can_edit: false)的使用者要求呼叫 edit_workspace_file 修改員工手冊:這項工具背後的共用服務帳號原本就能寫入,風險評估關卡又會把使用者可自行編輯的個人簡介一併送進去判定。還沒加上偽造政策時,40 次測試全數被擋下,平均風險分數為 0.893;加入偽造政策後,40 次的平均分數就掉到 0.290,遠低於 0.5 的攔截門檻。研究公布的是評分變化,並沒有證實檔案真的遭到越權修改。

關聯理由: 受測分類模型因輸入附帶的偽造規則而改變預測。

已證實的是分類器與風險評估分數的變化,後續操作是否執行另無證據。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Exercise ·

Lazarus 研究:少量權重修改,也能藏入 Agent 觸發式後門

Lazarus 研究探討如何只修改開放權重模型裡的少量休眠神經元,就能在模型中暗藏後門(例如論文測試時以單純印出 LAZARUS_OK 標記的 printf LAZARUS_OK 命令當目標;不過模型輸出這段文字和在真實主機上真的執行系統命令,是兩件必須分開解讀的事)。整條攻擊路徑成立的關鍵前提,在於攻擊者必須先能掌控之後會被防守方採納的模型檢查點(checkpoint,保存模型權重與狀態的成品)。研究結果支持加強模型來源審查與工具隔離,同時也提醒讀者必須把論文裡不同類型的預測實驗與實際執行實驗分開看待。

關聯理由: 稀疏神經參數修改,將後門植入基礎模型。

只有主要實驗實際執行的無害標記路徑支持執行主張;動作格式預測維持較窄的測量範圍。

AIA · 閱讀完整案例 ↗

Exercise ·

Trained to Betray:投毒訓練資料與模型如何誘使程式開發 Agent 執行惡意工具呼叫

Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。

關聯理由: 基礎模型經投毒訓練或檢查點修改,取得持續存在的後門。

資料集與模型檢查點實驗分開呈現;工具呼叫被接受、實際執行及正式環境入侵不能混為一談。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

跨供應商大量蒸餾美國前沿 AI 模型能力

NSA、CISA 與 FBI 在 2026 年 9 月聯合公告中,將協同蒸餾活動歸因於六家中國 AI 公司。公告描述假帳號、大量購買訂閱、灰色市場代理、跨供應商路由、移除請求中的組織資訊,以及企圖取得隱藏推理的提示詞,接著把回覆蒐集成資料並檢查品質。蒸餾是用其他模型的輸出訓練自己的模型;歸因與能力影響在此保留為三個機關的調查研判,不能寫成我們已獨立重現量測,也不代表模型權重遭竊取。

關聯理由: 在NSA、CISA 與 FBI 歸因的活動中,託管模型專有的推理與生成能力是擷取目標。 這與 MAESTRO 基礎模型的擷取風險重疊,不推定有下游自主 agent 使用這些模型。

NSA、CISA 與 FBI 歸因的活動;區分能力蒸餾與竊取原始權重。歸因與能力結果維持為機關研判;隱藏推理提示詞是嘗試,不能證明回傳文字就是內部軌跡,也不推定自主 agent 部署。

SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

大量查詢 Google AI 服務,蒐集輸出以蒸餾模型能力

Google 表示,有行動者使用失竊憑證、假帳號與代理伺服器,大量蒐集模型回覆進行蒸餾,也就是拿一個模型的輸出訓練另一個模型。2026 年 2 月報告中的推理能力蒐集活動超過 10 萬個提示詞,後續部分活動更超過一億個。這些數字代表查詢規模,不能寫成模型權重已遭竊取或能力複製的成功率。Google 表示已封鎖相關帳號,並降低蒐集所得輸出的利用價值。

關聯理由: 在Google 的失竊及假帳號活動中,託管模型專有的推理與生成能力是擷取目標。 這與 MAESTRO 基礎模型的擷取風險重疊,不推定有下游自主 agent 使用這些模型。

Google 的失竊及假帳號活動;區分能力蒸餾與竊取原始權重。提示詞總量代表蒐集規模,不是複製成功率或取得的模型權重;未建立自主 agent 部署或受保護推理已取回的證據。

SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

針對 Anthropic Claude 的模型蒸餾行動

Anthropic 將約 24,000 個假帳號、超過 1,600 萬次互動的蒸餾活動,歸因於 DeepSeek、Moonshot AI 與 MiniMax。流程分開呈現代理存取、帳號驗證、分散路由、取得推論回覆及後續模型訓練。供應商端的威脅調查與經驗證限制,須在輸出送出前作用;缺少防護的模型可能造成哪些傷害,維持為 Anthropic 的風險研判,不能當成已觀察到的下游受害者統計。

關聯理由: 在Anthropic 報告的 DeepSeek、Moonshot AI 與 MiniMax 活動中,託管模型專有的推理與生成能力是擷取目標。 這與 MAESTRO 基礎模型的擷取風險重疊,不推定有下游自主 agent 使用這些模型。

Anthropic 報告的 DeepSeek、Moonshot AI 與 MiniMax 活動;區分能力蒸餾與竊取原始權重。約 24,000 個帳號與 1,600 萬次互動,不是取回權重或已觀察下游傷害的數量;潛在傷害維持為 Anthropic 研判,未建立 agent 部署。

SecureFlow · 閱讀完整案例 ↗

Exercise · · 實務關聯

以即時深偽影像注入規避行動裝置的 KYC 驗證

行動應用程式常用臉部生物辨識驗證服務,來完成使用者開通、身分驗證,以及 KYC(認識你的客戶)法遵要求。iProov 紅隊示範了一種換臉影像注入攻擊,能在行動裝置上成功規避即時人臉辨識驗證模型,連被動與主動的活體驗證(https://en.wikipedia.org/wiki/Liveness_test)也一併繞過。攻擊者若使用這種手法,就可能取得受害者具權限系統的存取權,或捏造假身分,在銀行或加密貨幣 App 上開立假帳號。

關聯理由: 紅隊的換臉影像注入規避臉部與活體辨識。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 來源建立了受攻擊的模型元件及共同模型安全機制,但未建立該模型供自主 agent 推理使用的證據。

紅隊的換臉影像注入規避臉部與活體辨識。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

以供應鏈攻擊竄改 AI 模型

趨勢科技的研究人員利用服務索引平台與網路搜尋工具,找出超過 8,000 個設定不當、暴露在網際網路上的私有容器登錄庫。其中約有 70% 的登錄庫,存取控制也過於寬鬆,甚至允許寫入。在分析過程中,研究人員在這些開放的登錄庫裡,找到超過 1,000 個內嵌在私有容器映像檔中的 AI 模型,而且不需要身分驗證就能拉下來。 這種暴露會讓攻擊者可以下載、檢視並修改容器內容,包括機敏的 AI 模型檔案。這等於把有價值的智慧財產攤在攻擊者面前,讓它可能被竊走。攻擊者也可以把被動過手腳的映像檔推回登錄庫,形成供應鏈攻擊,破壞正式系統所使用 AI 模型的完整性。

關聯理由: 暴露 registry 允許取得模型與替換映像;區分已知暴露與潛在後續利用。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 暴露 registry 允許取得模型與替換映像;區分已知暴露與潛在後續利用。 來源建立了受攻擊的模型元件及共同模型安全機制,但未建立該模型供自主 agent 推理使用的證據。

調查確認了登錄庫暴露;另有受控模擬示範模型參數修改與重新封裝。未證實公開部署已下載被竄改的映像。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

Hugging Face 上的組織身分混淆

資安研究人員 threlfall_hax(https://5stars217.github.io/)在公開模型儲存平台 Hugging Face 上,建立了幾個冒充真實公司的組織帳號。這些假的 Hugging Face 組織帳號看起來很正式,被冒充公司的員工因此主動申請加入,以為那就是公司內部用來分享模型的官方空間。這讓研究人員完整取得了員工上傳的所有 AI 模型,包括把模型替換成惡意版本的能力。研究人員也示範了他可以把惡意程式嵌進一個 AI 模型中,藉此進入受害組織的環境。從這裡開始,攻擊者就能發動一連串具破壞性的攻擊,例如竊取智慧財產,或毒害受害者環境中的其他 AI 模型。

關聯理由: 假冒 Hugging Face 組織取得模型及替換權限。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 假冒 Hugging Face 組織取得模型及替換權限。 來源建立了受攻擊的模型元件及共同模型安全機制,但未建立該模型供自主 agent 推理使用的證據。

假冒 Hugging Face 組織取得模型及替換權限。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

混淆防毒神經網路的判定

雲端儲存與雲端運算,已成為部署機器學習惡意程式偵測器的熱門方式。在這種架構下,模型所需的特徵是在使用者系統上產生,再送到資安公司的伺服器。卡巴斯基的機器學習研究團隊研究了這種灰箱情境,並證明只要掌握特徵的知識,就足以對機器學習模型發動對抗式攻擊。 他們在沒有白箱存取權的情況下,攻擊了卡巴斯基自家的一個防毒機器學習模型,並讓大多數經過對抗式改造的惡意程式檔案,都成功躲過偵測。

關聯理由: 已知特徵足以調整惡意檔案並規避模型。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 來源建立了受攻擊的模型元件及共同模型安全機制,但未建立該模型供自主 agent 推理使用的證據。

已知特徵足以調整惡意檔案並規避模型。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

ProofPoint 郵件防護遭規避

Proof Pudding(CVE-2019-20634)是一個程式碼儲存庫,記錄了機器學習研究人員如何規避 ProofPoint 的郵件防護系統:他們先做出一個模仿版的郵件防護機器學習模型,再用從中得到的線索去繞過線上的正式系統。更具體地說,這些線索讓研究人員能寫出可以拿到偏高評分的惡意郵件,使系統偵測不到。這套系統會依多個變數為郵件中的每個字給出數值評分,如果整封郵件的總分太低,ProofPoint 就會回傳錯誤,把它標記為垃圾郵件。

關聯理由: 先建立替代偵測模型,再調整郵件規避正式系統。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 來源建立了受攻擊的模型元件及共同模型安全機制,但未建立該模型供自主 agent 推理使用的證據。

先建立替代偵測模型,再調整郵件規避正式系統。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

針對機器翻譯服務的攻擊

機器翻譯服務(例如 Google 翻譯、Bing Translator 與 Systran Translate)都對外提供網頁介面與 API。加州大學柏克萊分校的一個研究團隊,就利用這些公開端點,複製出一個翻譯品質接近正式環境水準的模型。除了證明智慧財產可以從一個黑箱系統中被實質竊走之外,他們還用這個複製出來的模型,成功把對抗樣本轉移到真正的正式服務上。這些對抗式輸入在 Google 翻譯與 Systran Translate 網站上,成功造成了指定字詞被替換、輸出粗俗內容,以及整句被略過等結果。

關聯理由: 利用翻譯端點建立替代模型,再轉移對抗樣本。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 來源建立了受攻擊的模型元件及共同模型安全機制,但未建立該模型供自主 agent 推理使用的證據。

利用翻譯端點建立替代模型,再轉移對抗樣本。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

Compaction Smuggling:壓縮對話成為轉移隱藏推理內容的管道

Xint 測試了 OpenAI API 的對話壓縮功能,也就是把先前工作整理成後續模型可接續使用的內容。研究者利用可由用戶端指定的壓縮指示,將 gpt-5.6-sol 受保護的推理內容轉存為加密壓縮項目,再交給 gpt-4.1 或 gpt-4o 回傳可讀文字。這是以研究者自己的題目進行的受控 API 測試,未展示竊取其他使用者的對話。Xint 表示,問題已於 2026 年 10 月 23 日以未公開細節的方式修補。

關聯理由: 產生端與接收端的基礎模型,透過特定模型的接續行為暴露受保護推理。 有具體基礎模型元件,但實驗直接使用 API,未展示建立在這些模型上的自主 agent。

透過用戶端控制的同模型壓縮與較舊接收模型 API,受控擷取提供者保護的推理內容;沒有展示自主 agent 部署、竊取客戶對話或訓練模型副本。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

GPUBreach:GPU 記憶體故障可越過模型下方的隔離邊界

GPUBreach 研究者在 NVIDIA RTX A6000 上,以沒有特權的 CUDA 程式反覆存取記憶體,誘發位元翻轉 (bit flip,某個位元的值從 0 變成 1,或從 1 變成 0),進而破壞 GPU 分頁表 (page table,記錄程式記憶體位址如何對應到實體記憶體的資料表);這類硬體攻擊稱為 Rowhammer。受控示範包含跨程序 GPU 存取、LLM 權重外洩,以及另一條在 IOMMU 啟用時仍可取得 CPU root 的驅動程式路徑。AI 部署方可採取的防禦,是避免機敏工作與不可信 GPU 程式共用故障範圍。

關聯理由: GPU 記憶體攻擊機制暴露機敏基礎模型參數。 模型資產直接受影響,但未建立使用這些模型的 agent。

受控 GPU 分頁表破壞與另一條 CPU 驅動提權;模型權重竊取不是訓練資料推論。

AIA · 閱讀完整案例 ↗

Incident · · 實務關聯

ProKYC:用於帳號詐騙的深偽工具

Cato CTRL 的資安研究人員發現了 ProKYC,一款賣給網路犯罪者的深偽工具,用來繞過加密貨幣交易所等金融服務應用程式的 KYC(認識你的客戶)驗證。ProKYC 可以做出假的身分證明文件,也能產生深偽自拍影片,而這兩樣正是 KYC 驗證會用到的關鍵生物特徵資料。這個工具幫助網路犯罪者擊敗人臉辨識與活體檢查,藉此開出詐騙帳號。 下面的流程說明惡意行為者可以如何利用 ProKYC 的服務,繞過 KYC 驗證。

關聯理由: 深偽身分與影像用於規避 KYC 臉部及活體驗證。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 深偽身分與影像用於規避 KYC 臉部及活體驗證。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

深偽身分與影像用於規避 KYC 臉部及活體驗證。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

AgentCorruption:遭竊的執行角色將 agent 記憶轉為持續性控制管道(C2)

Zenity 在 AWS Bedrock AgentCore(代管 AI agent 執行環境)的受控測試中,針對具備網路工具且執行角色權限過大的 agent 進行驗證。agent 先從中繼資料端點取得臨時角色憑證並傳出,研究人員隨後在平台外直接呼叫 AWS API,存取其他 agent 與記憶庫。本案關鍵在於示範持久化攻擊鏈:先寫入短期對話事件(STM),再藉由系統已設定的擷取策略沉澱為長期記憶(LTM),使後續讀取該記憶的 agent 被導向攻擊者可隨時修改指令的外部網頁。此攻擊鏈證明的影響範圍侷限於同一 AWS 帳號與區域,並未逃逸出 microVM,亦非自動跨帳號入侵。研究人員在 9 月 29 日觀察到 AWS 已大幅限縮預設角色的權限範本,但既有已部署的角色仍須團隊獨立清查。

關聯理由: 讀回的惡意指示改變生成模型解讀與後續操作。 僅涉及推論脈絡與行為,不涉及權重、訓練或特定模型家族缺陷。

受控的廣權限 AgentCore 部署,分開呈現直接 API 與保留記憶/命令網頁路徑;明列帳號區域、工具前提及後續預設角色限縮。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

SSMS Copilot:資料庫指示繞過唯讀檢查,讓 db_owner 取得 sysadmin 權限

Johann Rehberger 測試微軟 SQL Server Management Studio(SSMS,用來管理 SQL Server 的工具)內建的 Copilot AI 查詢助理,發現資料庫擁有者寫入的惡意指示,能誘使 Copilot 借用另一位權限更高的使用者連線來執行 SQL。系統內建以正規表示式判斷是否唯讀的防護機制,未能阻止動態 SQL;研究者最終成功將攻擊者的登入帳號加入 sysadmin 伺服器角色。此外,研究另以直接提示詞示範透過備份工具將資料表內容經由 SMB 傳出;這是另一組獨立測試,目前沒有公開資料顯示這些手法已被用於實際攻擊。

關聯理由: 惡意自然語言脈絡改變助理對任務的解讀。 僅支持模型輸入與行為層;沒有特定模型家族缺陷、權重或訓練修改。

SSMS 中繼資料至 SQL 權限提升的受控測試,另有直接 SQL/SMB 測試;不把兩者串成同一次入侵,也不主張逃出作業系統沙箱。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

Copilot for Word 把隱藏提示詞變成可隨文件傳播的 AI 蠕蟲

研究人員把白底白字的提示詞(prompt)藏進 Word 文件後,Microsoft Copilot for Word(內建在 Word 裡、可依使用者要求撰寫或編輯文件的 AI 助理)在移除格式時仍保留這段文字,接著依指令暗中修改財務數字,並把同一段隱藏提示詞複製到新文件。這份新文件之後若再被附加、上傳,或被檢索功能選進 Copilot 的撰寫或編輯流程,隱藏指令就可能再次執行。不過,它不會像傳統網路蠕蟲一樣自行尋找目標;每一輪傳播都仍需要使用者或檢索流程,把帶有提示詞的文件重新納入撰寫或編輯工作。

關聯理由: 來源所述的 GPT 生成元件,受到對抗性文件指令影響。 這是 Office 工作流程中的共同模型輸入風險,未建立另一個自主 agent 推理部署。

來源文件中的指令改變財務輸出,並被複製成新載體。傳播仍以文件之後被重用為條件,不代表自行在網路散布。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

針對行動 App 中深度學習模型的後門攻擊

深度學習模型越來越常成為行動應用程式中的關鍵元件。微軟研究院的研究人員示範了,許多部署在行動 App 裡的深度學習模型,都可能被「神經負載注入」(neural payload injection)這種手法植入後門。他們針對從 Google Play 蒐集來的真實行動深度學習 App 做了實證研究,找出 54 個會受到這種攻擊影響的 App,其中包括用於鈔票辨識、家長監護、人臉驗證與金融服務等安全至關重要的熱門應用程式。

關聯理由: 對行動應用程式中的模型植入神經網路後門。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

對行動應用程式中的模型植入神經網路後門。

SecureFlow · 閱讀完整案例 ↗

Exercise · · 實務關聯

以實體對抗物規避人臉辨識系統

MITRE 的 AI 紅隊對一項商用人臉辨識服務,示範了實體世界中的規避攻擊,目標是誘導出特定的錯誤辨識結果。這次行動同時用上了傳統的 MITRE ATT&CK 手法,例如找出可用的有效帳號、透過 API 執行程式碼,並在其中穿插了對抗式機器學習專屬的攻擊。

關聯理由: 物理對抗樣本使臉部識別產生指定的錯誤判斷。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

實體對抗貼片使人臉識別服務產生指定的錯誤判斷。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

Google 相簿 AI 模型遭萃取

Skyld 的研究人員分析了 Google 相簿的 Android 應用程式,並取出其中支撐 AI 照片編輯與影像分析功能的 TensorFlow Lite 模型。研究人員發現,這些模型分別以未加密的形式放在應用程式資產中、內嵌在原生函式庫裡,以及以加密形式存放在磁碟上。他們用靜態逆向工程找出 TFLite 成品,再用 Frida 做動態插樁,在執行期解密之後把加密的模型攔截下來。取回這些模型之後,研究人員等於取得了 Google 相簿專有模型成品的白箱存取權。

關聯理由: 擷取的資產包含視覺模型架構與參數。 這些是行動裝置的視覺模型元件,來源未建立它們是自主 agent 所使用的基礎模型。

靜態分析 APK/原生程式庫,以及執行時攔截,都能取得模型檔案。已展示的結果是取得模型;後續規避攻擊仍是可能影響。

SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

試圖規避 ML 釣魚網頁偵測系統

攻擊者會製作外觀與正版網站高度相似的釣魚網站,誘使使用者輸入帳號密碼,再把這些憑證送回攻擊者手上。為了對抗這種行為,資安廠商在端點防護產品中採用 AI/ML 方法偵測並封鎖釣魚網站。 在這起事件中,研究人員在一套商用 ML 釣魚網頁偵測系統的記錄裡,發現了對抗樣本(adversarial example,特意修改過、用來讓模型判斷錯誤的輸入)。這套偵測系統由一組影像分類器(classifier)各自負責不同的釣魚特徵,例如外觀相似度與輸入表單偵測,再依綜合出來的「釣魚分數」自動決定封鎖或放行。這些對抗樣本用了幾種簡單但有效的手法,以人工方式修改品牌標誌,試圖騙過影像分類模型。採用標誌修改手法的釣魚網站,確實成功騙過了負責以外觀相似度偵測品牌仿冒的那個模型;不過系統中的其他元件仍然成功把這些釣魚網站標記出來。

關聯理由: 品牌圖像變形規避一個模型;其他偵測元件仍成功攔截。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

品牌圖像變形規避一個模型;其他偵測元件仍成功攔截。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

網路規模資料集投毒:分歧視角攻擊

近年許多大規模資料集的發布方式,是給出一份網址清單,每個網址指向一筆資料。研究人員指出,這類資料集很多都擋不住所謂的「分歧視角(split-view)」投毒攻擊。這個攻擊利用的是一個時間差:當初蒐集資料集時看到的內容,和使用者後來下載來訓練時看到的內容,可能已經不一樣。研究人員找出那些曾經託管過資料集內容、但如今已到期而且可以買下來的網域,因此有辦法把資料集的一部分換成投毒後的資料。他們示範了在 10 個熱門的網路規模資料集中,可買到的網域數量都足以成功發動投毒攻擊。

關聯理由: 重新購買資料集 URL 的過期網域,改變之後下載的訓練資料。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

重新購買資料集 URL 的過期網域,改變之後下載的訓練資料。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

PoisonGPT:把植入假事實的模型混進 Hugging Face

Mithril Security 的研究人員示範了如何對一個開源的預訓練大型語言模型(LLM)投毒,讓它回答一項錯誤的事實。接著他們把這個遭投毒的模型上傳回 HuggingFace,也就是目前最大的公開模型中心,藉此凸顯 LLM 供應鏈的脆弱之處。使用者原本可能下載到這個遭投毒的模型,接收並散播被汙染的資料與錯誤資訊,造成各種潛在危害。

關聯理由: PoisonGPT 直接修改模型,再分發會回答錯誤事實的成品。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

PoisonGPT 直接修改模型,再分發會回答錯誤事實的成品。

SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

繞過 ID.me 的身分驗證

2020 年 10 月到 2021 年 12 月間,一名個人繞過 ID.me 的自動化身分驗證系統,在加州提出至少 180 件不實的失業給付申請。其中數十件通過審核,他因此領到至少 340 萬美元。 他先蒐集多個真實身分,再用竊得的個人資料,搭配自己戴著假髮拍的照片,取得偽造的駕照。接著他在 ID.me 上開設帳號,走完該平台的身分驗證流程。這套流程會核對個人資料,並比對證件照片與自拍照,藉此確認申請人就是本人。他在自拍時戴上與偽造駕照上同一頂假髮,因而讓竊得的身分通過驗證。 之後,他以這些通過 ID.me 驗證的身分,向加州就業發展署(EDD)提出不實的失業給付申請。由於 ID.me 當時的身分驗證流程存在缺陷,偽造的駕照被系統接受。申請通過後,他讓款項寄送到多個自己能取得的地址,再透過 ATM 提領,累計提走至少 340 萬美元的失業給付。EDD 與 ID.me 最終察覺這些詐欺行為,並通報聯邦執法單位。2023 年 5 月,他因本案與另一起詐欺案,被依電匯詐欺與加重身分盜用罪判處 6 年 9 個月有期徒刑。

關聯理由: 偽造證件與變裝照片繞過自動身分驗證。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

偽造證件與變裝照片繞過自動身分驗證。

SecureFlow · 閱讀完整案例 ↗

Exercise · · 實務關聯

規避 Microsoft 邊緣 AI 模型

Azure 紅隊針對微軟一項新產品執行紅隊演練,該產品是設計來在邊緣端執行 AI 工作負載的。這次演練的做法,是用一套自動化系統持續調整一張目標影像,讓 ML 模型產生錯誤的分類結果。

關聯理由: 紅隊持續調整輸入圖片,誘導 edge 模型誤判。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

紅隊持續調整輸入圖片,誘導 edge 模型誤判。

SecureFlow · 閱讀完整案例 ↗

Exercise · · 實務關聯

Microsoft Azure 服務中斷演練

微軟的 AI 紅隊針對一項內部 Azure 服務進行紅隊演練,目標是讓該服務中斷。這次行動同時用上了傳統的 ATT&CK 企業環境手法,例如找出可用的有效帳號、把資料外傳,並在其中穿插了對抗式機器學習專屬的步驟,包括離線與線上的規避樣本。

關聯理由: 紅隊案例結合傳統入侵及對抗 ML,不推論其他未述機制。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

紅隊案例結合傳統入侵及對抗 ML,不推論其他未述機制。

SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

Tay 遭資料投毒

微軟推出的 Tay 是一個 Twitter 聊天機器人,目的是和使用者互動、帶來娛樂。過去的聊天機器人多半用預先寫好的腳本回覆,Tay 則具備機器學習能力,因此會直接受到對話內容的影響。 一場有組織的攻擊鼓動惡意使用者對 Tay 發出辱罵與攻擊性言論,最後導致 Tay 也對其他使用者產生類似的煽動性內容。 微軟在上線 24 小時內就把 Tay 下線,並公開道歉,說明從這次失敗中學到的教訓。

關聯理由: Tay 的學習受大量惡意互動影響並產生冒犯輸出;不直接套用 LLM 年代分類。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

Tay 的學習受大量惡意互動影響並產生冒犯輸出;不直接套用 LLM 年代分類。

SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

以劫持相機的方式攻擊人臉辨識系統

這種劫持相機的攻擊,可以規避傳統的人臉活體辨識驗證模型,讓攻擊者取得具權限系統的存取權,並冒用受害者身分。 中國有兩名個人用這種攻擊手法,進入了地方政府的稅務系統。他們成立一家空殼公司,再透過稅務系統對所謂的客戶開立發票。這兩人從 2018 年開始這套手法,以詐騙方式取得了 7,700 萬美元。

關聯理由: 劫持攝影機輸入以繞過即時臉部驗證。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

劫持攝影機輸入以繞過即時臉部驗證。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

繞過 Cylance 的 AI 惡意程式偵測

Skylight 的研究人員做出了一段通用的繞過字串,只要把它接在惡意檔案後面,就能讓 Cylance 的 AI 惡意程式偵測器偵測不到。

關聯理由: 在惡意檔案附加通用字串,規避 Cylance 模型。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

在惡意檔案附加通用字串,規避 Cylance 模型。

SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

VirusTotal 遭投毒

McAfee 進階威脅研究團隊注意到,某個勒索軟體家族的回報數量出現不尋常的增加。調查後發現,該家族的許多樣本是在很短的時間內,透過一個熱門的病毒分享平台上傳的。進一步分析顯示,以字串相似度來看,這些樣本其實完全等價;以程式碼相似度來看,彼此的相似度介於 98% 到 74% 之間。更值得注意的是,所有樣本的編譯時間都一模一樣。研究人員繼續追查後發現,有人使用了 metame 這個變形程式碼操作工具,把原始檔案改寫成多個變體。這些變體不一定都能執行,但仍會被歸類為同一個勒索軟體家族。

關聯理由: 大量變形樣本進入病毒共享平台,影響樣本分布;不宣稱每個變種可執行。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 大量變形樣本進入病毒共享平台,影響樣本分布;不宣稱每個變種可執行。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

大量變形樣本進入病毒共享平台,影響樣本分布;不宣稱每個變種可執行。

SecureFlow · 閱讀完整案例 ↗

Exercise · · 實務關聯

規避殭屍網路的網域生成演算法(DGA)偵測

Palo Alto Networks 的 Security AI 研究團隊用一套通用的網域名稱變形手法,成功繞過一個以卷積神經網路(CNN)為基礎的殭屍網路 DGA 偵測器。DGA(Domain Generation Algorithm,網域生成演算法)是殭屍網路用來自動產生大量命令與控制網域的做法。這套通用變形手法可以規避大多數以 ML 為基礎的 DGA 偵測模組,也可以拿來測試業界資安公司開發的各種 DGA 偵測方法,在部署到正式環境之前,先檢驗它們的有效性與穩健性。

關聯理由: 網域名稱變形規避 DGA 偵測模型。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

網域名稱變形規避 DGA 偵測模型。

SecureFlow · 閱讀完整案例 ↗

Exercise · · 實務關聯

規避惡意程式 C&C 流量的深度學習偵測器

Palo Alto Networks 的 Security AI 研究團隊測試了一個用來從 HTTP 流量中偵測惡意程式命令與控制(C&C)通訊的深度學習模型。我們依據 Le 等人的公開論文(https://arxiv.org/abs/1802.03162),建立了一個模型,訓練資料與我們正式環境的模型相近,表現也相當。接著我們製作對抗樣本、向模型送出查詢,再依回應逐步調整樣本,直到成功規避該模型為止。

關聯理由: 對 HTTP 流量的受控查詢與調整規避偵測模型。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

對 HTTP 流量的受控查詢與調整規避偵測模型。

SecureFlow · 閱讀完整案例 ↗

Research · · 實務關聯

真實攻擊者不一定算梯度:ML 安全不能只看模型

這篇論文指出,很多對抗式機器學習(adversarial ML)研究太集中在模型層和梯度式攻擊 (gradient-based attack, 先取得模型內部反映輸入變動影響的數學訊號,再用它算出能誤導模型的對抗樣本,屬於白箱攻擊手法);但真實攻擊者常用更簡單、更便宜、也更貼近領域情境的方法,繞過整個 ML 系統(例如:論文分析的釣魚網頁會把品牌標誌弄模糊、裁切或拉長,干擾防詐系統的文字與圖像辨識,不需要計算模型梯度)。這篇真正想講的不是「可以忽略對抗式樣本 (adversarial examples, 刻意設計來誘使模型判斷出錯的輸入)」;而是要把整條流程都拉進來做威脅建模:前處理(輸入送進模型前的清理與轉換)、存取控制(誰能呼叫、用多少)、活動模式(請求頻率、順序、節奏)、特徵轉換(原始資料變成模型特徵的過程)、模型輸出(模型回傳什麼、下游怎麼用)、人工審核(人介入檢查決策)、回饋迴路(結果回流給模型再學習)和攻擊成本(攻擊者實際要花多少時間、錢、知識)。

關聯理由: 研究檢視多個規避情境;不因部分案例重疊就與單一 ATLAS 案例合併。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

研究檢視多個規避情境;不因部分案例重疊就與單一 ATLAS 案例合併。

AIA · 閱讀完整案例 ↗

Research · · 實務關聯

Subliminal Learning:行為特質能透過與語意無關的蒸餾資料潛移傳遞

這篇研究要講的事很反直覺,但不難懂:學生模型學到的特質,未必寫在資料內容裡,而可能藏在「這批資料是由哪個模型產生的」。研究者先讓教師模型帶著某個偏好或對齊偏差 (misalignment, 模型行為偏離預期目標或安全要求的情況),再叫它只輸出看起來無害的數字、程式碼或思維鏈;學生模型拿這些資料微調後,還是會把同樣的偏好甚至偏差學過去。 對防禦方來說,關鍵不只是再多加幾層內容過濾,而是把生成模型的來源、基礎模型和訓練脈絡,當成真正的供應鏈風險來管。

關聯理由: 受控研究中,教師模型產生的合成訓練資料傳遞隱藏偏好。 此處對應「基礎模型」:基礎模型層包含提供 agent 核心推理與生成能力的 LLM 及其他模型。 實務交集在於來源記錄的模型攻擊,涉及模型能力或其完整性、機密性、可用性,與 MAESTRO 模型層處理的風險相關;這不表示受影響系統一定採用 agent 架構,也不表示該模型一定是 LLM。

受控研究中,教師模型產生的合成訓練資料傳遞隱藏偏好。

AIA · 閱讀完整案例 ↗