DMS · 機器學習服務阻斷

閱讀 Google SAIF 2.0 中 DMS「機器學習服務阻斷」相關的 1 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者提交大量或特別耗用資源的查詢,使機器學習系統及其審查流程超出負荷,降低或阻斷服務可用性。除了高流量請求,也包含刻意設計的輸入,用來增加運算量、耗電量或回應時間。這些輸入可能耗盡服務容量,或讓裝置端模型大量消耗電池,使合法使用者無法正常使用。

框架官方來源 ↗ · 開啟互動探索 ↗

Validated Research · · 實務關聯

以提示詞注入在 MathGPT 上達成程式碼執行

公開的 Streamlit 應用程式 MathGPT(https://mathgpt.streamlit.app/),會用大型語言模型(LLM)GPT-3 來回答使用者提出的數學問題。 近期的研究與實驗顯示,GPT-3 這類 LLM 直接做精確數學運算時表現並不好;不過只要改成請它產生可以解題的可執行程式碼,答案就會準確得多。在 MathGPT 這個應用程式中,GPT-3 的工作就是把使用者的自然語言問題,轉成 Python 程式碼,接著再實際執行。運算完成後,執行過的程式碼與答案會一起顯示給使用者。 有些 LLM 會受到提示詞注入攻擊影響,也就是惡意的使用者輸入,會讓模型做出非預期的行為。在這起事件中,攻擊者嘗試了好幾種覆寫提示詞的做法,最後產生出來的程式碼,讓他取得了應用程式主機的系統環境變數與該應用程式的 GPT-3 API 金鑰,同時也發動了一次阻斷服務攻擊。結果,攻擊者原本可以耗光這個應用程式的 API 查詢額度,或直接把服務打掛。 在把這些攻擊手法與結果揭露給 MathGPT 與 Streamlit 團隊之後,兩邊都採取了緩解措施,包括過濾特定提示詞,以及輪替 API 金鑰。

關聯理由: 「持續計算」的提示詞,讓 MathGPT 執行不會終止的 Python 程式,導致應用程式失去回應。已驗證的是 LLM 應用執行程式碼時的可用性損失,沒有量測大量推論請求或特殊輸入是否耗盡模型硬體。

MathGPT 直接執行模型產生的 Python,研究取得 API 金鑰並展示 DoS。

SecureFlow · 閱讀完整案例 ↗