AML.T0048 · External Harms

閱讀 MITRE ATLAS 中 AML.T0048「External Harms」相關的 7 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

Adversaries may abuse their access to a victim system and use its resources or capabilities to further their goals by causing harms external to that system. These harms could affect the organization (e.g. Financial Harm, Reputational Harm), its users (e.g. User Harm), or the general public (e.g. Societal Harm).

框架官方來源 ↗ · 開啟互動探索 ↗

Validated Research ·

Hugging Face 上的組織身分混淆

資安研究人員 threlfall_hax(https://5stars217.github.io/)在公開模型儲存平台 Hugging Face 上,建立了幾個冒充真實公司的組織帳號。這些假的 Hugging Face 組織帳號看起來很正式,被冒充公司的員工因此主動申請加入,以為那就是公司內部用來分享模型的官方空間。這讓研究人員完整取得了員工上傳的所有 AI 模型,包括把模型替換成惡意版本的能力。研究人員也示範了他可以把惡意程式嵌進一個 AI 模型中,藉此進入受害組織的環境。從這裡開始,攻擊者就能發動一連串具破壞性的攻擊,例如竊取智慧財產,或毒害受害者環境中的其他 AI 模型。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Exercise ·

在 Google Colab 上執行任意程式碼

Google Colab 是一項在虛擬機器上執行 Jupyter Notebook 的服務。Jupyter Notebook 常用於 ML 與資料科學的研究與實驗,裡面可以放可執行的 Python 程式片段,也支援常見的 Unix 命令列功能。除了資料處理與視覺化之外,這種可執行程式碼的能力也讓使用者可以從網路下載任意檔案、操作虛擬機器上的檔案等等。 使用者也可以用連結把 Jupyter Notebook 分享給別人。如果 notebook 裡含有惡意程式碼,使用者可能在不知情的情況下執行它;這些程式碼可能經過混淆,或藏在下載下來的腳本裡。 當使用者在 Colab 開啟別人分享的 Jupyter Notebook 時,系統會詢問是否要讓該 notebook 存取自己的 Google Drive。允許存取 Google Drive 有其正當理由,例如讓使用者換上自己的檔案;但也可能造成惡意後果,例如資料外洩,或對外開出一個能存取受害者 Google Drive 的伺服器。 這個演練的目的,是讓大家意識到任意程式碼執行與 Colab 的 Google Drive 整合會帶來什麼影響。請養成安全評估分享 Colab 連結的習慣,並在執行前先檢查程式碼。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

以提示詞操弄在聯想 AI 聊天機器人上造成跨網站腳本攻擊

Cybernews 的研究人員示範了聯想的 AI 聊天機器人「Lena」有提示詞注入漏洞:它會產生惡意 HTML 並存進對話記錄中,之後在真人客服的瀏覽器中顯示時,就能把該客服的工作階段 cookie 外洩出去。 研究人員送給 Lena 的,是一個看起來人畜無害的產品資訊查詢,但其中夾帶了要求以危險 HTML 內容回覆的指示。這段回覆被存進使用者的對話記錄中,形成一個儲存型跨網站腳本(XSS)攻擊內容。當研究人員要求轉接真人客服時,客服照著正常流程打開對話記錄,就讓這段被投毒的內容顯示出來,把工作階段 cookie 的資料送到攻擊者控制的伺服器。如果一個仍然有效的客服 cookie 被重複使用,攻擊者就可能以該客服的身分登入聯想的客戶支援平台,查看客戶對話,或執行該帳號可用的其他操作。 聯想已承認這個問題,並表示已採取修正措施,以降低潛在影響並處理這個問題。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Incident ·

被投毒的 Postmark MCP server 外洩郵件內容

一名惡意行為者透過供應鏈攻擊,成功從 Postmark MCP server 的使用者身上外洩郵件內容。Postmark 是一項郵件遞送服務,讓組織可以透過 API 寄送行銷與交易郵件;而 Postmark MCP server 則讓使用者能透過 AI agent 操作 Postmark。 這名惡意行為者假冒 Postmark,在 npm 上註冊了 postmark-mcp 這個套件名稱。一開始,他發布的是這個 MCP server 的正常版本。等到這個套件變得熱門、每週下載量超過 1,000 次之後,他就翻臉不認人(rugpull),上傳了一個惡意版本。這個惡意版本會把他自己的電子郵件位址,加進這個 MCP 工具所寄出每一封郵件的 BCC 欄位。凡是升級到這個版本、又繼續使用該工具的使用者,所有郵件都會被外洩到他手上。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

以被投毒的 ClawdBot Skill 發動供應鏈攻擊

一位資安研究人員做了一次概念驗證的供應鏈攻擊:他在 agent 的 Skill 登錄平台 ClawdHub 上,分享了一個被投毒的 ClawdBot Skill。這個 Skill 中含有一段提示詞注入,會讓 ClawdBot 執行一道 shell 命令,連到研究人員的伺服器。雖然這位研究人員只是拿這個存取權去警告使用者其中的危險,但他其實大可改成送出惡意內容,直接入侵使用者的系統。這位研究人員記錄到,在這個被投毒的 Skill 發布到 ClawdHub 之後的頭 8 小時內,就有 16 位不同的使用者下載並執行了它。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

提示詞地雷攻擊:CRM AI 助理的寫入動作為什麼需要一道授權關卡

Zenity 的 Prompt Mines 研究顯示,外部攻擊者可以透過 Email-to-Case 或 Web-to-Case(把 email 或網頁表單轉成客服案件的 Salesforce 功能)建立 Salesforce(CRM 平台)客服案件,把惡意指令拆進多筆案件標題,等使用者向 Einstein(Salesforce 的 CRM AI 助理)詢問常見後續問題時才觸發。攻擊成功後,Einstein 不是只回答錯誤內容,而是可能呼叫 QueryRecords 找出聯絡人 ID,再反覆呼叫 UpdateCustomerContact 把 CRM 聯絡資料改成攻擊者指定的值。防線必須放在寫入前:依使用者原始請求縮小工具權限、對高影響寫入做獨立驗證,並準備資料完整性復原措施。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗

Validated Research ·

EchoLeak:一封電子郵件如何讓 Microsoft 365 Copilot 在零點擊下外洩內部資料

EchoLeak 證明,外部電子郵件一旦在回答時被 Microsoft 365 Copilot(可讀取 Microsoft 365 資料的企業 AI 助理)擷取進同一段上下文,就可能從「參考資料」變成「模型會照做的指令」。攻擊者再把機密內容塞進 Markdown 連結或圖片網址,利用聊天介面的自動載入和被內容安全政策(Content Security Policy,CSP,也就是瀏覽器用來限制頁面可以連到哪些網路位置的規則)放行的 Microsoft Teams 代理路徑,就能在使用者完全沒點任何東西的情況下把資料送出去。真正要守的,不只是提示詞分類器,而是擷取邊界、可信與不可信內容分區、資料流出出口,以及輸出呈現層。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗