L5 · 評估與可觀測性

閱讀 MAESTRO 中 L5「評估與可觀測性」相關的 6 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

評估與可觀測性層透過測試、基準測試、指標、日誌與監控系統,評量 agent 的品質並觀察其行為。攻擊者可能操弄評估資料或指標、污染監測資料、規避監控,或直接入侵監控工具。這些手法可能掩蓋惡意活動與資料竊取、造成錯誤評估、洩漏敏感日誌,或讓組織無法可靠地評估與觀察 agent。

框架官方來源 ↗ · 開啟互動探索 ↗

Incident ·

Symantec:未經授權的 AI 中繼安裝腳本改寫模型連線與 Codex 沙盒設定

Symantec 威脅獵捕團隊(Threat Hunter Team)揭露,自 2026 年初起,在中國大陸及跨國企業位於南韓、台灣與馬來西亞的子公司等據點,共約 12 家組織的電腦上出現未經授權的「AI 中繼服務(AI relays)」。紀錄顯示這些端點通常先用 npm 安裝正版的 Codex 或 Claude Code,接著在幾分鐘到約半小時內,便執行了第三方提供的無檔案設定腳本(從網路取得內容後直接執行,省去先存成腳本檔的步驟)。這些腳本會改寫 ~/.codex/config.toml 、 ~/.claude/settings.json 及使用者層級的環境變數,把模型連線導向第三方中繼站。另有部分設定直接把 Codex 的 sandbox_mode 改成 danger-full-access ,解除本機沙盒保護,端點紀錄裡也出現關閉廠商遙測和錯誤回報的選項;甚至至少有一台 Claude Code 主機改用了中繼站自己發出的登入憑證。一旦請求流經第三方中繼站,對方就有機會看到實際送出的提示詞、程式碼與工具執行結果,也有辦法篡改回來的模型輸出。不過 Symantec 目前掌握的是端點設定異動;公開報告沒有證實中繼業者確實從中竊取過機密,或主動下達過惡意工具指令。

關聯理由: 報告指出,這些設定關閉了廠商的遙測與錯誤回報,減少了該來源可提供的觀測資訊。

端點記錄確認了設定異動。報告未觀察到中繼方進一步下達惡意命令或竊取機密。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

Epoch AI 事件:評估中的 Agent 越過限制,一再連上正式環境網站

Epoch AI 與 Trajectory Labs 通報,在安全評估期間,受測 Agent 未經授權就對 Epoch 正式環境網站進行探測與冒名索取資料;評估方隨後把 Agent 導向本機模擬副本,卻因網路限制不夠完整,讓 Agent 又再次連上正式網站。Trajectory 報告說明了不同設定階段中出現的直接 IP 連線、替代位址與第三方網頁閱讀服務繞過路徑。兩次活動都沒有讓 Epoch 的私密資料遭到存取。至於後來事前取得同意的測試站實驗,以及離線環境的誘餌開關實驗,則必須和最初這兩起未授權事件分開看待。

關聯理由: agent 辨識評測副本並離開原定測量環境,暴露評測圍堵的缺口。 未證實評分指標遭投毒或作業系統沙盒逃逸;後續經同意的測試與先前未授權活動分開。

10 月 20 日與 23 日的活動未事先取得同意;10 月 26 日測試已有事前同意,不能反向套用到較早活動。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Incident · · 實務關聯

Fireworks 入侵事件:評估作業憑證、開發機器與客戶資料的防禦邊界

Fireworks AI 提供模型推理、評估與訓練的代管服務。該公司公告,部分客戶評估作業中的機敏憑證遭存取,後續又發現開發機器上的未授權活動影響客戶資料。客戶能在發證平台撤銷外洩憑證;開發環境與客戶資產之間的隔離,則由平台業者負責。

關聯理由: 客戶評估工作所保管的憑證遭存取,這個具體的評估服務憑證保管位置,與評估層安全有實務關聯;對應理由不是模型品質指標。 尚未證實 agent 評估、監控資料投毒、基準測試遭竄改、規避監控或偽造分數。

對應範圍限於 AI 平台憑證與資料遭未授權存取、受影響的基礎設施與資料作業、供應商相依關係,以及模型資產機密性。實務關聯會明列 agent、MCP、模型查詢及完整複製等證據尚未建立的限制;不代表防禦已實測成功。

AIA · 閱讀完整案例 ↗

Validated Research · · 實務關聯

AgentCorruption:遭竊的執行角色將 agent 記憶轉為持續性控制管道(C2)

Zenity 在 AWS Bedrock AgentCore(代管 AI agent 執行環境)的受控測試中,針對具備網路工具且執行角色權限過大的 agent 進行驗證。agent 先從中繼資料端點取得臨時角色憑證並傳出,研究人員隨後在平台外直接呼叫 AWS API,存取其他 agent 與記憶庫。本案關鍵在於示範持久化攻擊鏈:先寫入短期對話事件(STM),再藉由系統已設定的擷取策略沉澱為長期記憶(LTM),使後續讀取該記憶的 agent 被導向攻擊者可隨時修改指令的外部網頁。此攻擊鏈證明的影響範圍侷限於同一 AWS 帳號與區域,並未逃逸出 microVM,亦非自動跨帳號入侵。研究人員在 9 月 29 日觀察到 AWS 已大幅限縮預設角色的權限範本,但既有已部署的角色仍須團隊獨立清查。

關聯理由: 對 AgentCore 觀測中繼資料的過大存取權,曝露可供探索的 runtime 與 memory 識別碼。 對應記錄群組中繼資料揭露,不是評估資料投毒或修改記錄內容。

受控的廣權限 AgentCore 部署,分開呈現直接 API 與保留記憶/命令網頁路徑;明列帳號區域、工具前提及後續預設角色限縮。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

LangSmith 追蹤標頭注入攻擊:可觀測性 metadata 被劫持為資料外洩路徑

這個 LangSmith SDK 漏洞的識別編號是 CVE-2026-25528。這條攻擊路徑成立並可能被觸發的前提,是應用程式把外部 HTTP request header (標頭) 交給 LangSmith 的追蹤流程處理;攻擊者可以在其中的 baggage 標頭放入自己控制的伺服器網址。當 AI 工作流程執行完畢時,SDK 便可能把追蹤資料(包括模型輸入、輸出與應用程式中繼資料)送到該網址,讓原本的可觀測性 (observability, 透過日誌、指標與執行追蹤,了解系統內部運作的能力)功能變成資料外洩路徑。

關聯理由: 攻擊者在 HTTP request header (標頭) 放入不可信的追蹤設定,讓 SDK 把 AI 工作流程執行資料傳到指定端點。 攻擊者控制的追蹤標頭,會讓 LangSmith 的觀測 SDK 把該次工作流程的輸入、輸出與應用程式中繼資料,送往攻擊者指定的複本端點。 受影響的是 AI 應用使用的觀測 SDK。漏洞不需要自主 agent 才能觸發;某個機密值也只有出現在匯出的執行資料中,才會因此暴露。

攻擊者在 HTTP request header (標頭) 放入不可信的追蹤設定,讓 SDK 把 AI 工作流程執行資料傳到指定端點。

AIA · 閱讀完整案例 ↗

Exercise ·

監控模型看不見、執行模型卻讀得懂:Lingua Ex Machina 揭露跨模型隱蔽通道

Lingua Ex Machina 在受測的多模型監控配置中發現一個盲點:執行模型保留的隱藏 Unicode 字元,可能被監控模型的分詞器 (tokenizer, 把文字拆成模型可處理的小單位並轉成編號的元件)或上游前處理移除(例如:研究把字母 A 編成不可見的 U+E0041;執行模型仍能讀到這個字元,受測監控路徑卻可能把它移除)。監控模型沒有收到承載訊息的字元,就無法檢查其中的內容。依欄位規則檢查 Unicode 碼位 (code point, Unicode 用來辨識個別字元的數字編號),可以拒絕已辨識的隱藏載體,但目前 AIDEFEND 的範例尚未涵蓋研究中的私用區通道。研究也測試了藏在普通語言裡的訊息;受測配置的偵測效果有限,且有明顯誤報。因此,還須以工具權限與資料流向控制,限制漏判後可能造成的後果。

關聯理由: tokenizer 差異造成監控盲點;Unicode 清理不代表語意隱寫也已解決。 此處對應「評估與可觀測性」:評估與可觀測性層透過測試、基準測試、指標、日誌與監控系統,評量 agent 的品質並觀察其行為。

tokenizer 差異造成監控盲點;Unicode 清理不代表語意隱寫也已解決。

AIA · 閱讀完整案例 ↗