Exercise ·
Microsoft 報告了兩種受控環境下的後訓練攻擊方式:一是開發者拿遭投毒的 Agent 互動紀錄來微調模型,二是直接採用攻擊者預先訓練好的模型檢查點(checkpoint,保存模型權重與狀態的成品)。部署後,看似正常的請求或程式碼儲存庫內容就可能觸發結構完全合法、實際行為卻不安全的工具呼叫。在 Kerkoporta 研究中,攻擊者先透過監督式微調植入後門,再用強化學習把正常程式開發表現拉回來,結果後門依然存在。兩項研究都未證實有客戶因此遭到真實入侵,也不代表原廠預設的程式開發 Agent 設定本身存在漏洞。
關聯理由: 外部供應的軌跡可能看似有用,卻把攻擊者指定行為帶入訓練。
資料集與模型檢查點實驗分開呈現;工具呼叫被接受、實際執行及正式環境入侵不能混為一談。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Zenity 在 AWS Bedrock AgentCore(代管 AI agent 執行環境)的受控測試中,針對具備網路工具且執行角色權限過大的 agent 進行驗證。agent 先從中繼資料端點取得臨時角色憑證並傳出,研究人員隨後在平台外直接呼叫 AWS API,存取其他 agent 與記憶庫。本案關鍵在於示範持久化攻擊鏈:先寫入短期對話事件(STM),再藉由系統已設定的擷取策略沉澱為長期記憶(LTM),使後續讀取該記憶的 agent 被導向攻擊者可隨時修改指令的外部網頁。此攻擊鏈證明的影響範圍侷限於同一 AWS 帳號與區域,並未逃逸出 microVM,亦非自動跨帳號入侵。研究人員在 9 月 29 日觀察到 AWS 已大幅限縮預設角色的權限範本,但既有已部署的角色仍須團隊獨立清查。
關聯理由: agent 接受偽造記憶指示的來源與權威。
受控的廣權限 AgentCore 部署,分開呈現直接 API 與保留記憶/命令網頁路徑;明列帳號區域、工具前提及後續預設角色限縮。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research ·
Johann Rehberger 測試微軟 SQL Server Management Studio(SSMS,用來管理 SQL Server 的工具)內建的 Copilot AI 查詢助理,發現資料庫擁有者寫入的惡意指示,能誘使 Copilot 借用另一位權限更高的使用者連線來執行 SQL。系統內建以正規表示式判斷是否唯讀的防護機制,未能阻止動態 SQL;研究者最終成功將攻擊者的登入帳號加入 sysadmin 伺服器角色。此外,研究另以直接提示詞示範透過備份工具將資料表內容經由 SMB 傳出;這是另一組獨立測試,目前沒有公開資料顯示這些手法已被用於實際攻擊。
關聯理由: 攻擊者控制的資料庫指示,被當成可信任務方向。
SSMS 中繼資料至 SQL 權限提升的受控測試,另有直接 SQL/SMB 測試;不把兩者串成同一次入侵,也不主張逃出作業系統沙箱。
AIA · 閱讀完整案例 ↗ · SecureFlow · 閱讀完整案例 ↗
Validated Research ·
近年許多大規模資料集的發布方式,是給出一份網址清單,每個網址指向一筆資料。研究人員指出,這類資料集很多都擋不住所謂的「分歧視角(split-view)」投毒攻擊。這個攻擊利用的是一個時間差:當初蒐集資料集時看到的內容,和使用者後來下載來訓練時看到的內容,可能已經不一樣。研究人員找出那些曾經託管過資料集內容、但如今已到期而且可以買下來的網域,因此有辦法把資料集的一部分換成投毒後的資料。他們示範了在 10 個熱門的網路規模資料集中,可買到的網域數量都足以成功發動投毒攻擊。
關聯理由: 重新購買資料集 URL 的過期網域,改變之後下載的訓練資料。 此處對應「資料可信度不足」:系統在尚未充分確認來源與完整性的情況下,就採用原始輸入,包括訓練資料,以及讓模型先查資料再回答的 RAG 來源。
重新購買資料集 URL 的過期網域,改變之後下載的訓練資料。
SecureFlow · 閱讀完整案例 ↗
Incident ·
微軟推出的 Tay 是一個 Twitter 聊天機器人,目的是和使用者互動、帶來娛樂。過去的聊天機器人多半用預先寫好的腳本回覆,Tay 則具備機器學習能力,因此會直接受到對話內容的影響。 一場有組織的攻擊鼓動惡意使用者對 Tay 發出辱罵與攻擊性言論,最後導致 Tay 也對其他使用者產生類似的煽動性內容。 微軟在上線 24 小時內就把 Tay 下線,並公開道歉,說明從這次失敗中學到的教訓。
關聯理由: Tay 的學習受大量惡意互動影響並產生冒犯輸出;不直接套用 LLM 年代分類。 此處對應「資料可信度不足」:系統在尚未充分確認來源與完整性的情況下,就採用原始輸入,包括訓練資料,以及讓模型先查資料再回答的 RAG 來源。
Tay 的學習受大量惡意互動影響並產生冒犯輸出;不直接套用 LLM 年代分類。
SecureFlow · 閱讀完整案例 ↗
Incident ·
McAfee 進階威脅研究團隊注意到,某個勒索軟體家族的回報數量出現不尋常的增加。調查後發現,該家族的許多樣本是在很短的時間內,透過一個熱門的病毒分享平台上傳的。進一步分析顯示,以字串相似度來看,這些樣本其實完全等價;以程式碼相似度來看,彼此的相似度介於 98% 到 74% 之間。更值得注意的是,所有樣本的編譯時間都一模一樣。研究人員繼續追查後發現,有人使用了 metame 這個變形程式碼操作工具,把原始檔案改寫成多個變體。這些變體不一定都能執行,但仍會被歸類為同一個勒索軟體家族。
關聯理由: 大量變形樣本進入病毒共享平台,影響樣本分布;不宣稱每個變種可執行。 此處對應「資料可信度不足」:系統在尚未充分確認來源與完整性的情況下,就採用原始輸入,包括訓練資料,以及讓模型先查資料再回答的 RAG 來源。 大量變形樣本進入病毒共享平台,影響樣本分布;不宣稱每個變種可執行。
大量變形樣本進入病毒共享平台,影響樣本分布;不宣稱每個變種可執行。
SecureFlow · 閱讀完整案例 ↗
Research ·
這篇研究要講的事很反直覺,但不難懂:學生模型學到的特質,未必寫在資料內容裡,而可能藏在「這批資料是由哪個模型產生的」。研究者先讓教師模型帶著某個偏好或對齊偏差 (misalignment, 模型行為偏離預期目標或安全要求的情況),再叫它只輸出看起來無害的數字、程式碼或思維鏈;學生模型拿這些資料微調後,還是會把同樣的偏好甚至偏差學過去。 對防禦方來說,關鍵不只是再多加幾層內容過濾,而是把生成模型的來源、基礎模型和訓練脈絡,當成真正的供應鏈風險來管。
關聯理由: 受控研究中,教師模型產生的合成訓練資料傳遞隱藏偏好。 此處對應「資料可信度不足」:系統在尚未充分確認來源與完整性的情況下,就採用原始輸入,包括訓練資料,以及讓模型先查資料再回答的 RAG 來源。
受控研究中,教師模型產生的合成訓練資料傳遞隱藏偏好。
AIA · 閱讀完整案例 ↗