Incident · 2026-10-30
NSA、CISA 與 FBI 在 2026 年 9 月聯合公告中,將協同蒸餾活動歸因於六家中國 AI 公司。公告描述假帳號、大量購買訂閱、灰色市場代理、跨供應商路由、移除請求中的組織資訊,以及企圖取得隱藏推理的提示詞,接著把回覆蒐集成資料並檢查品質。蒸餾是用其他模型的輸出訓練自己的模型;歸因與能力影響在此保留為三個機關的調查研判,不能寫成我們已獨立重現量測,也不代表模型權重遭竊取。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Exercise · 2026-10-30
Morris II 是刻意建置的研究示範:RAG 郵件助理取回惡意郵件後,把指令複製到產生的回覆,並加入通信中的機敏資料,再由自動郵件流程寄出。流程圖把投遞、存入資料庫、取回後遵從指令、產生內容,以及寄出造成的兩種安全影響分開。兩條影響分支不代表觀察到兩封獨立郵件,也不是實際受害者活動。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-10-30
公開的 Streamlit 應用程式 MathGPT(https://mathgpt.streamlit.app/),會用大型語言模型(LLM)GPT-3 來回答使用者提出的數學問題。 近期的研究與實驗顯示,GPT-3 這類 LLM 直接做精確數學運算時表現並不好;不過只要改成請它產生可以解題的可執行程式碼,答案就會準確得多。在 MathGPT 這個應用程式中,GPT-3 的工作就是把使用者的自然語言問題,轉成 Python 程式碼,接著再實際執行。運算完成後,執行過的程式碼與答案會一起顯示給使用者。 有些 LLM 會受到提示詞注入攻擊影響,也就是惡意的使用者輸入,會讓模型做出非預期的行為。在這起事件中,攻擊者嘗試了好幾種覆寫提示詞的做法,最後產生出來的程式碼,讓他取得了應用程式主機的系統環境變數與該應用程式的 GPT-3 API 金鑰,同時也發動了一次阻斷服務攻擊。結果,攻擊者原本可以耗光這個應用程式的 API 查詢額度,或直接把服務打掛。 在把這些攻擊手法與結果揭露給 MathGPT 與 Streamlit 團隊之後,兩邊都採取了緩解措施,包括過濾特定提示詞,以及輪替 API 金鑰。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-10-30
雲端儲存與雲端運算,已成為部署機器學習惡意程式偵測器的熱門方式。在這種架構下,模型所需的特徵是在使用者系統上產生,再送到資安公司的伺服器。卡巴斯基的機器學習研究團隊研究了這種灰箱情境,並證明只要掌握特徵的知識,就足以對機器學習模型發動對抗式攻擊。 他們在沒有白箱存取權的情況下,攻擊了卡巴斯基自家的一個防毒機器學習模型,並讓大多數經過對抗式改造的惡意程式檔案,都成功躲過偵測。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-08-06
深度學習模型越來越常成為行動應用程式中的關鍵元件。微軟研究院的研究人員示範了,許多部署在行動 App 裡的深度學習模型,都可能被「神經負載注入」(neural payload injection)這種手法植入後門。他們針對從 Google Play 蒐集來的真實行動深度學習 App 做了實證研究,找出 54 個會受到這種攻擊影響的 App,其中包括用於鈔票辨識、家長監護、人臉驗證與金融服務等安全至關重要的熱門應用程式。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Validated Research · 2026-08-02
Mithril Security 的研究人員示範了如何對一個開源的預訓練大型語言模型(LLM)投毒,讓它回答一項錯誤的事實。接著他們把這個遭投毒的模型上傳回 HuggingFace,也就是目前最大的公開模型中心,藉此凸顯 LLM 供應鏈的脆弱之處。使用者原本可能下載到這個遭投毒的模型,接收並散播被汙染的資料與錯誤資訊,造成各種潛在危害。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Exercise · 2026-08-02
微軟的 AI 紅隊針對一項內部 Azure 服務進行紅隊演練,目標是讓該服務中斷。這次行動同時用上了傳統的 ATT&CK 企業環境手法,例如找出可用的有效帳號、把資料外傳,並在其中穿插了對抗式機器學習專屬的步驟,包括離線與線上的規避樣本。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Exercise · 2026-08-02
Palo Alto Networks 的 Security AI 研究團隊用一套通用的網域名稱變形手法,成功繞過一個以卷積神經網路(CNN)為基礎的殭屍網路 DGA 偵測器。DGA(Domain Generation Algorithm,網域生成演算法)是殭屍網路用來自動產生大量命令與控制網域的做法。這套通用變形手法可以規避大多數以 ML 為基礎的 DGA 偵測模組,也可以拿來測試業界資安公司開發的各種 DGA 偵測方法,在部署到正式環境之前,先檢驗它們的有效性與穩健性。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗
Exercise · 2026-08-02
Palo Alto Networks 的 Security AI 研究團隊測試了一個用來從 HTTP 流量中偵測惡意程式命令與控制(C&C)通訊的深度學習模型。我們依據 Le 等人的公開論文(https://arxiv.org/abs/1802.03162),建立了一個模型,訓練資料與我們正式環境的模型相近,表現也相當。接著我們製作對抗樣本、向模型送出查詢,再依回應逐步調整樣本,直到成功規避該模型為止。
沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。
SecureFlow · 閱讀完整案例 ↗