MITRE ATLAS
mitre-atlas-cs0038
植入指令,讓 AI agent 延後自動呼叫工具
- 自主式 agent
- 工具整合與 MCP
- 模型規避與繞過
Embrace the Red(https://embracethered.com/blog/)示範了 Google Gemini 會被誘導自動呼叫工具,做法是把執行時間延到下一輪對話。這樣就繞過了一項安全控制:原本 Gemini 不允許在不可信資料剛進入脈絡的同一輪對話中,就去呼叫那些能存取使用者機敏資訊的工具。