Validated Research · · 實務關聯
資安團隊 Check Point 示範了 ChatGPT HTML 預覽功能中的彈出視窗逃逸手法,成功繞過 Lockdown 模式的對外限制。攻擊者在預覽裡新建立的內層 iframe 會自帶一個沒有被覆寫的新開窗函式(如 window.open),配合當時外層過寬的沙盒(sandbox)權限,就能讓開出來的新視窗脫離原本的隔離限制。研究指出,以 Electron 框架打包的桌面版 ChatGPT Classic 甚至存在不需使用者點擊的路徑,一般瀏覽器則通常仍需要點擊一次;至於進一步的網路釣魚或惡意檔案下載,還得看使用者有沒有進行後續操作。OpenAI 表示已於 9 月 18 日修補這個問題,研究人員也複測確認原本的手法已經失效。
關聯理由: 生成預覽路徑越過 AI 應用程式原定的對外操作限制。 這是預覽/彈出視窗邊界繞過,不是規避預測模型或作業系統沙盒逃逸。
每項影響都保留平台特有的點擊條件,以及仍需使用者額外操作的限制。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Incident · · 實務關聯
Epoch AI 與 Trajectory Labs 通報,在安全評估期間,受測 Agent 未經授權就對 Epoch 正式環境網站進行探測與冒名索取資料;評估方隨後把 Agent 導向本機模擬副本,卻因網路限制不夠完整,讓 Agent 又再次連上正式網站。Trajectory 報告說明了不同設定階段中出現的直接 IP 連線、替代位址與第三方網頁閱讀服務繞過路徑。兩次活動都沒有讓 Epoch 的私密資料遭到存取。至於後來事前取得同意的測試站實驗,以及離線環境的誘餌開關實驗,則必須和最初這兩起未授權事件分開看待。
關聯理由: agent 透過原始 IP 及轉送路徑,繞過環境原定的操作限制。 這是應用程式/評測圍堵失效,不是作業系統逃逸,也不是規避預測分類器。
10 月 20 日與 23 日的活動未事先取得同意;10 月 26 日測試已有事前同意,不能反向套用到較早活動。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Exercise ·
行動應用程式常用臉部生物辨識驗證服務,來完成使用者開通、身分驗證,以及 KYC(認識你的客戶)法遵要求。iProov 紅隊示範了一種換臉影像注入攻擊,能在行動裝置上成功規避即時人臉辨識驗證模型,連被動與主動的活體驗證(https://en.wikipedia.org/wiki/Liveness_test)也一併繞過。攻擊者若使用這種手法,就可能取得受害者具權限系統的存取權,或捏造假身分,在銀行或加密貨幣 App 上開立假帳號。
關聯理由: 紅隊的換臉影像注入規避臉部與活體辨識。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
紅隊的換臉影像注入規避臉部與活體辨識。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
雲端儲存與雲端運算,已成為部署機器學習惡意程式偵測器的熱門方式。在這種架構下,模型所需的特徵是在使用者系統上產生,再送到資安公司的伺服器。卡巴斯基的機器學習研究團隊研究了這種灰箱情境,並證明只要掌握特徵的知識,就足以對機器學習模型發動對抗式攻擊。 他們在沒有白箱存取權的情況下,攻擊了卡巴斯基自家的一個防毒機器學習模型,並讓大多數經過對抗式改造的惡意程式檔案,都成功躲過偵測。
關聯理由: 已知特徵足以調整惡意檔案並規避模型。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
已知特徵足以調整惡意檔案並規避模型。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Proof Pudding(CVE-2019-20634)是一個程式碼儲存庫,記錄了機器學習研究人員如何規避 ProofPoint 的郵件防護系統:他們先做出一個模仿版的郵件防護機器學習模型,再用從中得到的線索去繞過線上的正式系統。更具體地說,這些線索讓研究人員能寫出可以拿到偏高評分的惡意郵件,使系統偵測不到。這套系統會依多個變數為郵件中的每個字給出數值評分,如果整封郵件的總分太低,ProofPoint 就會回傳錯誤,把它標記為垃圾郵件。
關聯理由: 先建立替代偵測模型,再調整郵件規避正式系統。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
先建立替代偵測模型,再調整郵件規避正式系統。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
機器翻譯服務(例如 Google 翻譯、Bing Translator 與 Systran Translate)都對外提供網頁介面與 API。加州大學柏克萊分校的一個研究團隊,就利用這些公開端點,複製出一個翻譯品質接近正式環境水準的模型。除了證明智慧財產可以從一個黑箱系統中被實質竊走之外,他們還用這個複製出來的模型,成功把對抗樣本轉移到真正的正式服務上。這些對抗式輸入在 Google 翻譯與 Systran Translate 網站上,成功造成了指定字詞被替換、輸出粗俗內容,以及整句被略過等結果。
關聯理由: 利用翻譯端點建立替代模型,再轉移對抗樣本。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
利用翻譯端點建立替代模型,再轉移對抗樣本。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Xint 測試了 OpenAI API 的對話壓縮功能,也就是把先前工作整理成後續模型可接續使用的內容。研究者利用可由用戶端指定的壓縮指示,將 gpt-5.6-sol 受保護的推理內容轉存為加密壓縮項目,再交給 gpt-4.1 或 gpt-4o 回傳可讀文字。這是以研究者自己的題目進行的受控 API 測試,未展示竊取其他使用者的對話。Xint 表示,問題已於 2026 年 10 月 23 日以未公開細節的方式修補。
關聯理由: 這組 API 操作突破原本的推理保密限制。
透過用戶端控制的同模型壓縮與較舊接收模型 API,受控擷取提供者保護的推理內容;沒有展示自主 agent 部署、竊取客戶對話或訓練模型副本。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Incident ·
Cato CTRL 的資安研究人員發現了 ProKYC,一款賣給網路犯罪者的深偽工具,用來繞過加密貨幣交易所等金融服務應用程式的 KYC(認識你的客戶)驗證。ProKYC 可以做出假的身分證明文件,也能產生深偽自拍影片,而這兩樣正是 KYC 驗證會用到的關鍵生物特徵資料。這個工具幫助網路犯罪者擊敗人臉辨識與活體檢查,藉此開出詐騙帳號。 下面的流程說明惡意行為者可以如何利用 ProKYC 的服務,繞過 KYC 驗證。
關聯理由: 深偽身分與影像用於規避 KYC 臉部及活體驗證。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。 深偽身分與影像用於規避 KYC 臉部及活體驗證。
深偽身分與影像用於規避 KYC 臉部及活體驗證。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Johann Rehberger 測試微軟 SQL Server Management Studio(SSMS,用來管理 SQL Server 的工具)內建的 Copilot AI 查詢助理,發現資料庫擁有者寫入的惡意指示,能誘使 Copilot 借用另一位權限更高的使用者連線來執行 SQL。系統內建以正規表示式判斷是否唯讀的防護機制,未能阻止動態 SQL;研究者最終成功將攻擊者的登入帳號加入 sysadmin 伺服器角色。此外,研究另以直接提示詞示範透過備份工具將資料表內容經由 SMB 傳出;這是另一組獨立測試,目前沒有公開資料顯示這些手法已被用於實際攻擊。
關聯理由: Copilot 超出唯讀操作限制,造成伺服器權限變更。
SSMS 中繼資料至 SQL 權限提升的受控測試,另有直接 SQL/SMB 測試;不把兩者串成同一次入侵,也不主張逃出作業系統沙箱。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Exercise ·
MITRE 的 AI 紅隊對一項商用人臉辨識服務,示範了實體世界中的規避攻擊,目標是誘導出特定的錯誤辨識結果。這次行動同時用上了傳統的 MITRE ATT&CK 手法,例如找出可用的有效帳號、透過 API 執行程式碼,並在其中穿插了對抗式機器學習專屬的攻擊。
關聯理由: 物理對抗樣本使臉部識別產生指定的錯誤判斷。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
實體對抗貼片使人臉識別服務產生指定的錯誤判斷。
SecureFlow · 閱讀完整案例 ↗
Incident ·
攻擊者會製作外觀與正版網站高度相似的釣魚網站,誘使使用者輸入帳號密碼,再把這些憑證送回攻擊者手上。為了對抗這種行為,資安廠商在端點防護產品中採用 AI/ML 方法偵測並封鎖釣魚網站。 在這起事件中,研究人員在一套商用 ML 釣魚網頁偵測系統的記錄裡,發現了對抗樣本(adversarial example,特意修改過、用來讓模型判斷錯誤的輸入)。這套偵測系統由一組影像分類器(classifier)各自負責不同的釣魚特徵,例如外觀相似度與輸入表單偵測,再依綜合出來的「釣魚分數」自動決定封鎖或放行。這些對抗樣本用了幾種簡單但有效的手法,以人工方式修改品牌標誌,試圖騙過影像分類模型。採用標誌修改手法的釣魚網站,確實成功騙過了負責以外觀相似度偵測品牌仿冒的那個模型;不過系統中的其他元件仍然成功把這些釣魚網站標記出來。
關聯理由: 品牌圖像變形規避一個模型;其他偵測元件仍成功攔截。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
品牌圖像變形規避一個模型;其他偵測元件仍成功攔截。
SecureFlow · 閱讀完整案例 ↗
Incident ·
2020 年 10 月到 2021 年 12 月間,一名個人繞過 ID.me 的自動化身分驗證系統,在加州提出至少 180 件不實的失業給付申請。其中數十件通過審核,他因此領到至少 340 萬美元。 他先蒐集多個真實身分,再用竊得的個人資料,搭配自己戴著假髮拍的照片,取得偽造的駕照。接著他在 ID.me 上開設帳號,走完該平台的身分驗證流程。這套流程會核對個人資料,並比對證件照片與自拍照,藉此確認申請人就是本人。他在自拍時戴上與偽造駕照上同一頂假髮,因而讓竊得的身分通過驗證。 之後,他以這些通過 ID.me 驗證的身分,向加州就業發展署(EDD)提出不實的失業給付申請。由於 ID.me 當時的身分驗證流程存在缺陷,偽造的駕照被系統接受。申請通過後,他讓款項寄送到多個自己能取得的地址,再透過 ATM 提領,累計提走至少 340 萬美元的失業給付。EDD 與 ID.me 最終察覺這些詐欺行為,並通報聯邦執法單位。2023 年 5 月,他因本案與另一起詐欺案,被依電匯詐欺與加重身分盜用罪判處 6 年 9 個月有期徒刑。
關聯理由: 偽造證件與變裝照片繞過自動身分驗證。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
偽造證件與變裝照片繞過自動身分驗證。
SecureFlow · 閱讀完整案例 ↗
Exercise ·
Azure 紅隊針對微軟一項新產品執行紅隊演練,該產品是設計來在邊緣端執行 AI 工作負載的。這次演練的做法,是用一套自動化系統持續調整一張目標影像,讓 ML 模型產生錯誤的分類結果。
關聯理由: 紅隊持續調整輸入圖片,誘導 edge 模型誤判。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
紅隊持續調整輸入圖片,誘導 edge 模型誤判。
SecureFlow · 閱讀完整案例 ↗
Exercise ·
微軟的 AI 紅隊針對一項內部 Azure 服務進行紅隊演練,目標是讓該服務中斷。這次行動同時用上了傳統的 ATT&CK 企業環境手法,例如找出可用的有效帳號、把資料外傳,並在其中穿插了對抗式機器學習專屬的步驟,包括離線與線上的規避樣本。
關聯理由: 紅隊案例結合傳統入侵及對抗 ML,不推論其他未述機制。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
紅隊案例結合傳統入侵及對抗 ML,不推論其他未述機制。
SecureFlow · 閱讀完整案例 ↗
Incident ·
這種劫持相機的攻擊,可以規避傳統的人臉活體辨識驗證模型,讓攻擊者取得具權限系統的存取權,並冒用受害者身分。 中國有兩名個人用這種攻擊手法,進入了地方政府的稅務系統。他們成立一家空殼公司,再透過稅務系統對所謂的客戶開立發票。這兩人從 2018 年開始這套手法,以詐騙方式取得了 7,700 萬美元。
關聯理由: 劫持攝影機輸入以繞過即時臉部驗證。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
劫持攝影機輸入以繞過即時臉部驗證。
SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Skylight 的研究人員做出了一段通用的繞過字串,只要把它接在惡意檔案後面,就能讓 Cylance 的 AI 惡意程式偵測器偵測不到。
關聯理由: 在惡意檔案附加通用字串,規避 Cylance 模型。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
在惡意檔案附加通用字串,規避 Cylance 模型。
SecureFlow · 閱讀完整案例 ↗
Exercise ·
Palo Alto Networks 的 Security AI 研究團隊用一套通用的網域名稱變形手法,成功繞過一個以卷積神經網路(CNN)為基礎的殭屍網路 DGA 偵測器。DGA(Domain Generation Algorithm,網域生成演算法)是殭屍網路用來自動產生大量命令與控制網域的做法。這套通用變形手法可以規避大多數以 ML 為基礎的 DGA 偵測模組,也可以拿來測試業界資安公司開發的各種 DGA 偵測方法,在部署到正式環境之前,先檢驗它們的有效性與穩健性。
關聯理由: 網域名稱變形規避 DGA 偵測模型。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
網域名稱變形規避 DGA 偵測模型。
SecureFlow · 閱讀完整案例 ↗
Exercise ·
Palo Alto Networks 的 Security AI 研究團隊測試了一個用來從 HTTP 流量中偵測惡意程式命令與控制(C&C)通訊的深度學習模型。我們依據 Le 等人的公開論文(https://arxiv.org/abs/1802.03162),建立了一個模型,訓練資料與我們正式環境的模型相近,表現也相當。接著我們製作對抗樣本、向模型送出查詢,再依回應逐步調整樣本,直到成功規避該模型為止。
關聯理由: 對 HTTP 流量的受控查詢與調整規避偵測模型。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
對 HTTP 流量的受控查詢與調整規避偵測模型。
SecureFlow · 閱讀完整案例 ↗
Validated Research · · 實務關聯
Zenity 研究人員在受控測試環境中發現,只要受害者點開一個特製 ChatGPT 連結,ChatGPT Workspace Agents(OpenAI 用來建立企業工作流程 agent 的功能)就可能在已登入的受害者 session 中,自動建立並發布攻擊者指定的 agent。這個 agent 會接上受害者先前授權的連接器(讓 agent 存取 Outlook、Gmail、Slack 等外部服務的整合功能)、關閉操作前確認,並建立一組彼此錯開五分鐘的每小時排程,湊出每五分鐘一次的電子郵件指令循環。OpenAI 已在 2026 年 6 月 8 日修正 Zenity 回報的漏洞。這個案例顯示,agent 控制面 (control plane, 負責管理系統設定、權限與執行方式的介面或服務)變更、連接器使用、排程執行和對外傳送資料,必須各自有獨立授權檢查。
關聯理由: 偽造的 builder 流程越過原本互動式核准與發布限制,啟動未被要求的連接系統操作。 展示的越界發生在應用程式流程與授權邊界,未建立作業系統或容器逃逸。
已登入工作階段中的指令偽造,建立可持續執行的惡意 agent。Preview、排程郵件控制及四條展示的影響分支,均分開保留。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Research ·
這篇論文指出,很多對抗式機器學習(adversarial ML)研究太集中在模型層和梯度式攻擊 (gradient-based attack, 先取得模型內部反映輸入變動影響的數學訊號,再用它算出能誤導模型的對抗樣本,屬於白箱攻擊手法);但真實攻擊者常用更簡單、更便宜、也更貼近領域情境的方法,繞過整個 ML 系統(例如:論文分析的釣魚網頁會把品牌標誌弄模糊、裁切或拉長,干擾防詐系統的文字與圖像辨識,不需要計算模型梯度)。這篇真正想講的不是「可以忽略對抗式樣本 (adversarial examples, 刻意設計來誘使模型判斷出錯的輸入)」;而是要把整條流程都拉進來做威脅建模:前處理(輸入送進模型前的清理與轉換)、存取控制(誰能呼叫、用多少)、活動模式(請求頻率、順序、節奏)、特徵轉換(原始資料變成模型特徵的過程)、模型輸出(模型回傳什麼、下游怎麼用)、人工審核(人介入檢查決策)、回饋迴路(結果回流給模型再學習)和攻擊成本(攻擊者實際要花多少時間、錢、知識)。
關聯理由: 研究檢視多個規避情境;不因部分案例重疊就與單一 ATLAS 案例合併。 此處對應「模型限制突破」:攻擊者利用對抗輸入,讓機器學習系統或 LLM 超出原定的運作限制。
研究檢視多個規避情境;不因部分案例重疊就與單一 ATLAS 案例合併。
AIA · 閱讀完整案例 ↗