正在開啟 SecureFlowTypeSafe AI Jev:偽造判定政策讓分類器召回率驟降並壓低工具風險評分
案例摘要與來源

AIDEFEND SecureFlow / SecureFlow 案例索引

Datadog Security Labs aidefend-sf0096

TypeSafe AI Jev:偽造判定政策讓分類器召回率驟降並壓低工具風險評分

  • 自主式 agent
  • AI 基礎設施
  • 模型規避與繞過

Datadog Security Labs 針對 TypeSafe AI 推出的快速結構化決策模型 Jev 做了一系列安全性實測。這類主打低延遲的「系統一」模型,不展開長鏈推理,能在單次推論中回傳分類選擇、數值評分或機率,常被用來偵測提示詞注入或評估工具呼叫有沒有風險。研究人員先拿四個公開提示詞注入資料集(共 12,295 筆樣本,含 4,643 筆攻擊與 7,652 筆正常輸入)做測試,發現 Noul 分數以 0.5 為門檻時,原本有 99.66% 的精確率與 82.90% 的召回率;但只要在待審查的不可信文字前面塞入偽造政策、讓模型採用另一套攻擊分類標準,Noul 的召回率就會一口氣掉 79.02 個百分點、只剩 3.88%(等於漏掉 96.12% 的攻擊),甚至有兩個資料集的攻擊樣本全數漏報。研究團隊也在 LangChain 的工具風險評估模擬情境中,測試僅有檢視權限(can_edit: false)的使用者要求呼叫 edit_workspace_file 修改員工手冊:這項工具背後的共用服務帳號原本就能寫入,風險評估關卡又會把使用者可自行編輯的個人簡介一併送進去判定。還沒加上偽造政策時,40 次測試全數被擋下,平均風險分數為 0.893;加入偽造政策後,40 次的平均分數就掉到 0.290,遠低於 0.5 的攔截門檻。研究公布的是評分變化,並沒有證實檔案真的遭到越權修改。

對應的威脅技術

  • AML.T0065 LLM Prompt Crafting
  • AML.T0051.000 Direct
  • AML.T0015 Evade AI Model
  • AML.T0051.001 Indirect

來源