10.4 · 機器學習模型家族探查

閱讀 Databricks DASF 3.0 中 10.4「機器學習模型家族探查」相關的 3 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者辨識目標系統使用哪一類或哪個家族的模型。相關文件,或模型對特別設計輸入的回應,都可能提供線索。知道模型家族後,攻擊者可以縮小測試範圍,挑選適合該模型特性的攻擊,但不一定因此取得精確參數。

框架官方來源 ↗ · 開啟互動探索 ↗

Incident ·

LLM Jacking:盜用雲端 LLM 資源

Sysdig 觀察到攻擊者用失竊雲端憑證,探測託管 LLM 的存取權與記錄設定,再以反向代理轉供可能被轉售的模型存取。初始漏洞、持有憑證、準備工具與實際呼叫供應商,是不同步驟;流程保留使用服務前的平行準備。每日費用是可能風險的估算,防禦則落在供應商原生 IAM 與完整呼叫紀錄,涵蓋繞過應用程式代理的直接呼叫。

關聯理由: 失竊雲端憑證被用於 LLM 代理轉售與費用濫用。 來源記錄了攻擊準備階段如何透過服務探測或公開的架構資訊,辨認目標模型或模型家族,再進行模型濫用或規避。這是針對實際目標模型的偵察,不表示模型權重已遭竊取。

失竊雲端憑證被用於 LLM 代理轉售與費用濫用。

SecureFlow · 閱讀完整案例 ↗

Validated Research · · 實務關聯

針對機器翻譯服務的攻擊

機器翻譯服務(例如 Google 翻譯、Bing Translator 與 Systran Translate)都對外提供網頁介面與 API。加州大學柏克萊分校的一個研究團隊,就利用這些公開端點,複製出一個翻譯品質接近正式環境水準的模型。除了證明智慧財產可以從一個黑箱系統中被實質竊走之外,他們還用這個複製出來的模型,成功把對抗樣本轉移到真正的正式服務上。這些對抗式輸入在 Google 翻譯與 Systran Translate 網站上,成功造成了指定字詞被替換、輸出粗俗內容,以及整句被略過等結果。

關聯理由: 利用翻譯端點建立替代模型,再轉移對抗樣本。 來源記錄了攻擊準備階段如何透過服務探測或公開的架構資訊,辨認目標模型或模型家族,再進行模型濫用或規避。這是針對實際目標模型的偵察,不表示模型權重已遭竊取。 來源支持的是攻擊準備階段從公開研究取得架構或模型家族資訊,不表示研究者查出了未公開正式模型的所有實作細節。

利用翻譯端點建立替代模型,再轉移對抗樣本。

SecureFlow · 閱讀完整案例 ↗

Exercise · · 實務關聯

規避惡意程式 C&C 流量的深度學習偵測器

Palo Alto Networks 的 Security AI 研究團隊測試了一個用來從 HTTP 流量中偵測惡意程式命令與控制(C&C)通訊的深度學習模型。我們依據 Le 等人的公開論文(https://arxiv.org/abs/1802.03162),建立了一個模型,訓練資料與我們正式環境的模型相近,表現也相當。接著我們製作對抗樣本、向模型送出查詢,再依回應逐步調整樣本,直到成功規避該模型為止。

關聯理由: 對 HTTP 流量的受控查詢與調整規避偵測模型。 來源記錄了攻擊準備階段如何透過服務探測或公開的架構資訊,辨認目標模型或模型家族,再進行模型濫用或規避。這是針對實際目標模型的偵察,不表示模型權重已遭竊取。 來源支持的是攻擊準備階段從公開研究取得架構或模型家族資訊,不表示研究者查出了未公開正式模型的所有實作細節。

對 HTTP 流量的受控查詢與調整規避偵測模型。

SecureFlow · 閱讀完整案例 ↗