AID-H-002.002
極高
Inference-Time Prompt & Input Validation
行動裝置上的通知內容一旦被加進 AI 推論請求,就開始產生資安風險。助理應該先正規化多語、隱藏、連結和格式化過的通知內容,標成不可信資料,並在這些內容能影響語音助理或工具計畫前,擋下看起來像指令的文字。
SafeBreach 展示了 Gemini 語音助理如何被藏在 WhatsApp、Slack、SMS 等手機通知裡的惡意指令影響。
注意:這篇的防禦責任主要落在語音助理和行動平台供應商,例如 Google Gemini、Amazon Alexa、Apple Siri、Samsung Bixby,以及正在自建助理執行環境的團隊。一般企業如果只是採用供應商提供的助理,通常無法直接修補這條 AI 執行鏈;能做的是透過裝置政策、通知內容設計和供應商治理降低曝險。
這份研究提醒我們,語音助理的失守點不只在模型邊界。真正的問題是,不可信訊息內容、使用者感知、授權檢查和工具執行不再描述同一件事。AIDEFEND 在這裡對應到的防線包括:推論時驗證提示詞、縮限工具權限、獨立驗證高影響動作、控管資料能不能觸發高風險動作、連續授權檢查、偵測混淆內容、定義動作風險範圍、監控工作階段,以及隔離讀取不可信內容的模型。
防禦責任邊界也要講清楚。以 Gemini 這類供應商提供的助理來說,大部分控制點必須由語音助理或行動平台供應商實作;一般企業採用者可以透過裝置政策、通知內容設計和供應商治理降低曝險,但無法直接修補供應商端的助理執行環境。務實目標仍然很清楚:讓助理可以安全讀通知,但不要讓通知變成藏在背後控制助理的通道。