AML.T0035 · AI Artifact Collection

閱讀 MITRE ATLAS 中 AML.T0035「AI Artifact Collection」相關的 6 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

Adversaries may collect AI artifacts for [Exfiltration](/tactics/AML.TA0010) or for use in [AI Attack Staging](/tactics/AML.TA0001). AI artifacts include models and datasets as well as other telemetry data produced when interacting with a model.

框架官方來源 ↗ · 開啟互動探索 ↗

Incident ·

ShadowRay:挾持暴露在外的 Ray 叢集

Ray 是一套開源的 Python 框架,用來把正式環境的 AI 工作流程擴展到大規模執行。Ray 的 Job API 在設計上就允許遠端執行任意程式碼,卻沒有提供身分驗證,而且預設設定可能讓整個叢集直接暴露在網際網路上。Oligo 的研究人員發現,這些 Ray 叢集已經被實際利用至少七個月。攻擊者可以拿受害組織的運算資源來用,也能竊走有價值的資訊。研究人員估計,這些被入侵機器的價值接近 10 億美元。 研究人員向 Ray 的維護者 Anyscale 通報了五個漏洞,Anyscale 很快修正了其中四個。不過第五個漏洞 CVE-2023-48022(https://nvd.nist.gov/vuln/detail/CVE-2023-48022)仍處於爭議狀態。Anyscale 主張 Ray 不做身分驗證是一項設計決定,Ray 本來就應該部署在安全的網路環境中。Oligo 的研究人員則稱它為「影子漏洞」,因為在爭議狀態下,這個 CVE 不會出現在靜態掃描結果中。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Exercise ·

在 Google Colab 上執行任意程式碼

Google Colab 是一項在虛擬機器上執行 Jupyter Notebook 的服務。Jupyter Notebook 常用於 ML 與資料科學的研究與實驗,裡面可以放可執行的 Python 程式片段,也支援常見的 Unix 命令列功能。除了資料處理與視覺化之外,這種可執行程式碼的能力也讓使用者可以從網路下載任意檔案、操作虛擬機器上的檔案等等。 使用者也可以用連結把 Jupyter Notebook 分享給別人。如果 notebook 裡含有惡意程式碼,使用者可能在不知情的情況下執行它;這些程式碼可能經過混淆,或藏在下載下來的腳本裡。 當使用者在 Colab 開啟別人分享的 Jupyter Notebook 時,系統會詢問是否要讓該 notebook 存取自己的 Google Drive。允許存取 Google Drive 有其正當理由,例如讓使用者換上自己的檔案;但也可能造成惡意後果,例如資料外洩,或對外開出一個能存取受害者 Google Drive 的伺服器。 這個演練的目的,是讓大家意識到任意程式碼執行與 Colab 的 Google Drive 整合會帶來什麼影響。請養成安全評估分享 Colab 連結的習慣,並在執行前先檢查程式碼。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

AgentCorruption:遭竊的執行角色將 agent 記憶轉為持續性控制管道(C2)

Zenity 在 AWS Bedrock AgentCore(代管 AI agent 執行環境)的受控測試中,針對具備網路工具且執行角色權限過大的 agent 進行驗證。agent 先從中繼資料端點取得臨時角色憑證並傳出,研究人員隨後在平台外直接呼叫 AWS API,存取其他 agent 與記憶庫。本案關鍵在於示範持久化攻擊鏈:先寫入短期對話事件(STM),再藉由系統已設定的擷取策略沉澱為長期記憶(LTM),使後續讀取該記憶的 agent 被導向攻擊者可隨時修改指令的外部網頁。此攻擊鏈證明的影響範圍侷限於同一 AWS 帳號與區域,並未逃逸出 microVM,亦非自動跨帳號入侵。研究人員在 9 月 29 日觀察到 AWS 已大幅限縮預設角色的權限範本,但既有已部署的角色仍須團隊獨立清查。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

Stolen Thoughts:不透明推理區塊可被跨情境重用,進而還原機敏內容

研究團隊在 2026 年 7 月初測試 Anthropic、OpenAI 與 Google API 時發現,供應商回傳的不透明推理區塊 (opaque reasoning block, 供模型接續推理、使用者無法直接讀取內文的資料區塊),曾可跨工作階段、跨使用者,或交給同一家供應商的相容模型繼續使用。攻擊者必須先取得他人的區塊,再把它送給能力較弱的相容模型,並透過越獄誘使模型轉錄隱藏推理。團隊從 6,708 筆公開的 agent 執行記錄重建 315,320 個區塊,並在 328 個工作階段找到真實機敏資料。作者表示,供應商採取緩解措施後,已無法重現所展示的攻擊。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

Google 相簿 AI 模型遭萃取

Skyld 的研究人員分析了 Google 相簿的 Android 應用程式,並取出其中支撐 AI 照片編輯與影像分析功能的 TensorFlow Lite 模型。研究人員發現,這些模型分別以未加密的形式放在應用程式資產中、內嵌在原生函式庫裡,以及以加密形式存放在磁碟上。他們用靜態逆向工程找出 TFLite 成品,再用 Frida 做動態插樁,在執行期解密之後把加密的模型攔截下來。取回這些模型之後,研究人員等於取得了 Google 相簿專有模型成品的白箱存取權。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Exercise ·

Microsoft Azure 服務中斷演練

微軟的 AI 紅隊針對一項內部 Azure 服務進行紅隊演練,目標是讓該服務中斷。這次行動同時用上了傳統的 ATT&CK 企業環境手法,例如找出可用的有效帳號、把資料外傳,並在其中穿插了對抗式機器學習專屬的步驟,包括離線與線上的規避樣本。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗