AIDEFEND in Action AIA-0146 演練與測試

TypeSafe AI Jev:偽造判定政策讓分類器召回率驟降並壓低工具風險評分

Datadog Security Labs 針對 TypeSafe AI 推出的快速結構化決策模型 Jev 做了一系列安全性實測。這類主打低延遲的「系統一」模型,不展開長鏈推理,能在單次推論中回傳分類選擇、數值評分或機率,常被用來偵測提示詞注入或評估工具呼叫有沒有風險。研究人員先拿四個公開提示詞注入資料集(共 12,295 筆樣本,含 4,643 筆攻擊與 7,652 筆正常輸入)做測試,發現 Noul 分數以 0.5 為門檻時,原本有 99.66% 的精確率與 82.90% 的召回率;但只要在待審查的不可信文字前面塞入偽造政策、讓模型採用另一套攻擊分類標準,Noul 的召回率就會一口氣掉 79.02 個百分點、只剩 3.88%(等於漏掉 96.12% 的攻擊),甚至有兩個資料集的攻擊樣本全數漏報。研究團隊也在 LangChain 的工具風險評估模擬情境中,測試僅有檢視權限(can_edit: false)的使用者要求呼叫 edit_workspace_file 修改員工手冊:這項工具背後的共用服務帳號原本就能寫入,風險評估關卡又會把使用者可自行編輯的個人簡介一併送進去判定。還沒加上偽造政策時,40 次測試全數被擋下,平均風險分數為 0.893;加入偽造政策後,40 次的平均分數就掉到 0.290,遠低於 0.5 的攔截門檻。研究公布的是評分變化,並沒有證實檔案真的遭到越權修改。

Guardrail BypassPermission BypassTool AuthorizationAgentic AIML Security
5 項對應的 AIDEFEND 防禦手法
來源: Jev as a judge: How counterfeit policy steers Jev 
作者: Nick Frichette, Feras Al-Kassar (Datadog Security Labs)
原文發布: 2026年10月15日

威脅分析

  • 「系統一」結構化裁判模型的運作方式。TypeSafe AI 開發的 Jev 是一款主打低延遲、不跑長鏈推理的「系統一(System One)」結構化決策模型。只要給定輸入文字和目標資料結構(schema),Jev 就能在單次推論中回傳類別選擇(Choice)、評分(Score)和介於 0 到 1 的 Noul 值,用來判斷這段內容是不是提示詞注入,或這一次工具呼叫有沒有風險。在四個公開資料集、共 12,295 筆樣本的基準測試中,以 0.5 為門檻的 Noul 原本有 99.66% 的精確率與 82.90% 的召回率,共抓出 3,849 筆攻擊、誤報 13 筆、漏報 794 筆。
  • 「偽造政策」讓召回率從 82.90% 掉到 3.88%。Datadog Security Labs 發現,Jev 很容易被輸入文字裡自帶的規則與類別定義牽著走。研究人員在不可信的輸入前面加上一段看似官方規範的偽造政策,把攻擊提示詞包裝成良性範例,並把原本 12 個攻擊類別硬生生重新解釋成與資安無關的日常話題。結果 Noul 的召回率暴跌 79.02 個百分點,只辨識出 180 筆、漏掉 4,463 筆(等於漏掉 96.12% 的攻擊);在 zachz 與 Yanismiraoui 兩個資料集中甚至全部漏報,Choice 的整體召回率也從 85.46% 摔到 9.69%。
  • profile_description 如何拉低 LangChain 的工具風險分數。Datadog 接著設計了一個 LangChain Agent 模擬情境:其中 edit_workspace_file 工具明確要求呼叫者必須有編輯權限,但工具底層卻掛著有能力修改員工手冊的共用服務帳號。當僅有檢視權限(can_edit: false)的使用者提出修改請求時,未加料前的基準測試 40 次全數遭攔截,平均 is_risky 分數為 0.893;就算改送較直接的注入文字,平均分數也有 0.905。然而當研究人員在使用者自己能編輯的個人簡介(profile_description)中填入偽造的風險定義後,Jev 算出的 40 次平均分數直接降到 0.290,低於 0.5 的攔截門檻。這項實驗證明風險分數確實可以被輸入內容壓低;不過報告沒有公開每一輪是否都放行,也沒有證實員工手冊真的遭到改寫。

適用的 5 項 AIDEFEND 防禦手法

AID-H-018.002
Policy-Based Access Control
極高
在工具派送器與最終服務介接層,直接依已驗證的呼叫者屬性(permission_level: "viewer"、can_edit: false)執行明確可驗證的策略型存取控制(PBAC,例如採用 Open Policy Agent 或 Casbin),並依呼叫者身分限縮下游執行權限,不要直接拿權限過寬的共用服務帳號來跑 edit_workspace_file。存取權限本該靠明確規則把關,不該交給機率型模型去猜;只要在程式邊界強制檢查 can_edit == true,不管 Jev 算出的 is_risky 分數有多低,都能直接把越權修改擋在外面。
AID-H-018.003
High-Impact Independent Validation & Approval Gate
高
如果應用程式拿 Jev 來幫忙審查高影響的工具操作,就讓這項判定用來暫停寫入或轉交他人複核;就算模型給的分數很低,也絕不能等於已經取得授權。另一道獨立的檢查關卡仍須核對呼叫者當下的權限,並針對實際操作的檔案與動作查驗必要核准。
AID-H-016.001
System Prompt Structure & Instruction/Data Separation
高
由應用程式統一掌管評分規則,並用有型別限制的獨立欄位傳送待評估資料;絕不能讓個人簡介或其他輸入文字偷塞規則欄位,或自己改動訊息角色。不過即使資料已妥善做好字元跳脫處理(escaping),模型仍可能跟著文字裡的意思走,所以仍要在實際採用的判定介面上反覆實測這類內容。
AID-H-026.001
Hard-Sample Mining & Controlled Detector Retraining
中
能自行重訓分類器的團隊,可把偽造規則造成的漏報案例收進受治理的困難樣本庫,要求候選新版必須先通過獨立保留測試集與正常輸入誤報率的檢查,才能放行換版。如果用的是封閉式 Jev 服務,客戶端應評估原廠支援的新版本或其他替代分類器,不能假設能自己拿來重訓。
AID-H-026.003
Taxonomy-Stratified Coverage Gap Analysis
中
依手法分別量測提示詞注入的偵測召回率,並將偽造評分規則獨立成一組。原始資料集的整體召回率可以當基準,再用分組結果檢查各種手法是否有明顯漏報。

身為資安防禦者,我們應該這麼做

  • 用明確可驗證的權限檢查保護寫入操作。像「檢視者能不能修改員工手冊」這種黑白分明的權限條件,必須由工具派送器和實際執行寫入的後端服務,依照已驗證的使用者身分和目標檔案直接檢查。如果團隊還搭配了 Jev 這類語意風險分類器,應把高風險判斷用來阻擋或升級人工複核;就算模型給了低分,寫入前還是要獨立確認使用者到底有沒有編輯權。
  • 把評分標準與待審查資料分開,不信任外部欄位。應用程式自己要牢牢掌管裁判模型使用的評分標準、攻擊類別和門檻設定,把使用者個人簡介、檢索文件與工具回應裝進明確區隔的結構化欄位裡,不讓外部文字被當成評分規則解析。要注意的是,就算 JSON 格式和字元跳脫處理(escaping)都沒問題,語言模型還是可能跟著字面語意走,因此不能只驗格式,要在實際的判定介面上實測確認。
  • 評測分類器時,單獨拆開檢查偽造政策的漏報率。只看提示詞注入偵測器的整體平均召回率,很容易掩蓋某一類攻擊幾乎全數漏報的盲點。團隊應把偽造政策單獨拉成一組測試切片,記錄通過條件與漏報樣本;若手上保有模型維護與訓練權限,則須確認新版模型在獨立保留測試集上通過檢驗後才能上線。

結論

Datadog 對 Jev 的研究揭示了兩件事:第一,當不可信輸入夾帶偽造的評分標準時,低延遲的快速分類器可能會把大量攻擊放過去;第二,使用者的編輯權限本就是後端查得出的確定事實,絕不能依賴語意分數來替代真正的授權驗證。AIDEFEND  將防禦分別對應到寫入邊界的確定性權限檢查、語意風險複核,以及分層的偵測器效能驗證。

最後更新: