13.4 · 資源超載

閱讀 Databricks DASF 3.0 中 13.4「資源超載」相關的 1 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者讓 AI 系統使用的運算、記憶體或服務容量超出負荷。資源密集的處理因而可能變慢、失敗,或妨礙其他任務完成。攻擊目標是支撐 agent 的有限資源,不一定是推理內容的正確性。

框架官方來源 ↗ · 開啟互動探索 ↗

Validated Research · · 實務關聯

以提示詞注入在 MathGPT 上達成程式碼執行

公開的 Streamlit 應用程式 MathGPT(https://mathgpt.streamlit.app/),會用大型語言模型(LLM)GPT-3 來回答使用者提出的數學問題。 近期的研究與實驗顯示,GPT-3 這類 LLM 直接做精確數學運算時表現並不好;不過只要改成請它產生可以解題的可執行程式碼,答案就會準確得多。在 MathGPT 這個應用程式中,GPT-3 的工作就是把使用者的自然語言問題,轉成 Python 程式碼,接著再實際執行。運算完成後,執行過的程式碼與答案會一起顯示給使用者。 有些 LLM 會受到提示詞注入攻擊影響,也就是惡意的使用者輸入,會讓模型做出非預期的行為。在這起事件中,攻擊者嘗試了好幾種覆寫提示詞的做法,最後產生出來的程式碼,讓他取得了應用程式主機的系統環境變數與該應用程式的 GPT-3 API 金鑰,同時也發動了一次阻斷服務攻擊。結果,攻擊者原本可以耗光這個應用程式的 API 查詢額度,或直接把服務打掛。 在把這些攻擊手法與結果揭露給 MathGPT 與 Streamlit 團隊之後,兩邊都採取了緩解措施,包括過濾特定提示詞,以及輪替 API 金鑰。

關聯理由: 注入的「持續計算」要求產生了不會終止的 Python 程式,應用程式因此失去回應,主機之後重新啟動。已觀察到的失效,發生在支援 AI 應用的程式執行資源。 實務交集是有限的執行資源。MathGPT 是把 LLM 輸出交給 Python 執行的應用;來源沒有證實多 agent 架構,也沒有驗證針對模型硬體最佳化的能源或延遲攻擊。

MathGPT 直接執行模型產生的 Python,研究取得 API 金鑰並展示 DoS。

SecureFlow · 閱讀完整案例 ↗