AIDEFEND in Action AIA-0137 實際事件

Cloudflare GLM-5.3 資料外洩:遭拒絕的請求仍讀到其他使用者的 KV cache

Cloudflare 確認,Workers AI 平台上的 GLM-5.3 模型曾有 155 次回應混入其他客戶的請求資料。當時模型設定允許長達 1,048,576 個 token 的上下文,但負責提示詞前置處理(prefill)的記憶體池其實只容納得下 681,280 個 token;過長的提示詞雖然被標記為拒絕,卻還是被送進另一個負責產生回應(decode)的工作程序,結果讀到了記憶體裡尚未覆寫完的殘留 KV cache。這是一起推論服務的記憶體隔離事件,調查並未發現遭到刻意利用的證據。

Privacy LeakageRuntime IsolationMulti-Tenant AIAI Infrastructure
7 項對應的 AIDEFEND 防禦手法

威脅分析

  • 先釐清事件影響範圍:Workers AI 是 Cloudflare 提供的託管推論服務。從 2026 年 8 月 27 日到 9 月 9 日,GLM-5.3 曾把其他使用者的請求內容帶進回應裡。調查確認只有這個模型受到影響,也沒有找到人為刻意攻擊的證據。
  • 遭拒絕的過長請求並沒有真正停下來:SGLang 把提示詞處理(prefill)與回應產生(decode)拆給不同的工作程序處理。模型雖然設定可接收 1,048,576 個 token(模型處理文字的基本單位),prefill 記憶體池實際上只裝得下 681,280 個;被標為拒絕的過長輸入被換成單一佔位 token 後,交接流程卻沒有中止,導致後端 decode 讀到還沒被本次請求完整覆寫的 KV cache(用來保存先前運算結果、加速後續生成文字的記憶體狀態)。
  • HTTP 回應成功不代表請求隔離正確:容量設定是否相容、被拒絕的請求是否確實中止,以及重用記憶體頁面的擁有者是否一致,這三件事必須分別驗證。光在應用層做快取分區,救不了推論執行環境裡發生的跨請求記憶體混用。相關第一手資料:SGLang 技術說明。

適用的 7 項 AIDEFEND 防禦手法

AID-H-032.002
Cross-Tenant Serving-State Isolation
極高
推論平台業者必須把佇列、工作程序、KV 記憶體頁面與交接流程全部綁定到經驗證的租戶與請求身分。只要拒絕、取消與狀態重用這三條路徑還沒通過隔離測試,就應先停用跨租戶狀態重用,或把流量移往獨立隔離的服務池;只在閘道層區分租戶,救不了共用工作程序內部的記憶體混用。
AID-H-003.010
Deployed AI Software Vulnerability Remediation Lifecycle
極高
自行架設 SGLang 的團隊應重新建置並部署已包含拒絕流程與狀態生命週期修正的受支援版本(Cloudflare 建議 0.5.22 以上,NIXL/MORI 傳輸失敗確認修正則在 0.5.23)。部署時要依實際使用的傳輸後端挑對版本,逐一確認每一台 prefill 與 decode 副本跑的都是新映像,先把舊工作程序排空並實測問題路徑通過後再放回流量;只改套件鎖定檔,不代表整個叢集都已經換版。
AID-I-005
Emergency "Kill-Switch" / AI System Halt
高
一旦確認發生跨請求資料外洩,平台業者在修復期間應該透過外部決策控制,把通往受影響模型的每一條入口都強制停用,連同直接連入工作程序的路徑也要一併蓋住,進行中的串流則另行驗證是否已確實停止或排空,避免過時的放行狀態或備援路由偷偷把流量再放進來。
AID-M-005.002
Policy-as-Code Configuration Baselines & Posture Release Gates
中
把實測出來的 prefill/decode 容量與上下文長度相容性,寫成上線前必過的檢查關卡,讓檢測報告綁定實際模型、量化方式、平行設定、執行環境與 GPU 組態,只要缺量測或容量不合就攔下部署。注意團隊還是得自己實作對應 SGLang 的量測介接,框架裡的一般基準檢查不會自動替你算出 GPU 容量。
AID-H-032.001
Dedicated Capacity for High-Sensitivity Inference
中
如果業務資料無法承受與其他租戶共用推論環境的風險,工作負載擁有者就該要求經獨立驗證的單一租戶專用推論環境,並把故障切換與流量溢位路徑也一併納入專用範圍;若現有託管服務做不到這層隔離,就應把機敏任務移到專用或自建環境。別把購買「預留吞吐量」當成底層 KV 狀態也完全獨占。
AID-R-004
Fleet Remediation Propagation & Technical Recurrence Prevention
中
把驗證過的拒絕流程修正與容量相容條件,納入所有適用部署與未來新版釋出的強制基準,透過獨立讀取管道核對整個線上執行環境,確保舊版或不相容設定再也部署不上去。至於技術公告裡另行提到的其他快取生命週期修正,應改用獨立標示的測試集來驗證,避免把不同成因混為一談。
AID-H-009.004
Accelerator Isolation & VRAM/KV-Cache Hygiene
中
如果平台採用租戶專用服務池,應將實際運算裝置或受支援硬體分割區的擁有者資訊,拿來和排程器及硬體狀態獨立交叉核對,確保每個隔離服務池從 prefill 到 decode 都只服務指定租戶;當裝置要改派給不同信任區域前,必須留有綁定該裝置的正式重設或一次性工作程序終止證明。這樣能大幅限制跨租戶殘留狀態的暴露;但要注意,如果同一個工作程序裡面還是把多個租戶混在一起跑,光切分硬體裝置並不會修好這起漏洞,而釋放記憶體配置器也並不等於安全抹除資料。

身為資安防禦者,我們應該這麼做

  • 自行架設 SGLang 的團隊應升級到已修補且受支援的版本:Cloudflare 針對這起事件建議至少使用 0.5.22 以上版本,至於後續針對 NIXL/MORI 傳輸失敗卻誤回完成確認的修正,則需要 0.5.23 以上版本。部署時要依實際採用的傳輸後端核對正確版本,把 prefill 與 decode 副本全部一起確認;只要模型或記憶體參數有變動,就得重新實測實際的 KV 容量。
  • 在隔離測試環境裡交替送入不同測試租戶的無害合成標記,實際測試過長提示詞、中途取消、狀態重用與正常請求,確認被拒絕的請求絕不會繼續配置或傳送狀態,且輸出裡不會出現別人的標記(測試千萬不要拿真實客戶機密當樣本)。
  • 使用託管服務的客戶,應向平台業者索取受影響範圍與修補驗證證據來評估資料風險;若必要的隔離邊界無法獲得確認,就應把機敏工作負載移轉出去。緊急停用、修補執行環境與安全重啟服務,應該分開各自做明確決策。

結論

AIDEFEND  將本案對應到推論狀態隔離、確實部署軟體修正、可量測的上線檢查及事件圍堵。關鍵防線位於推論執行環境分配與重用狀態的位置;平台業者必須確認,下一筆請求不會接收到前一筆請求的資料。

最後更新: