AIDEFEND in Action AIA-0141 演練與測試

Lazarus 研究:少量權重修改,也能藏入 Agent 觸發式後門

Lazarus 研究探討如何只修改開放權重模型裡的少量休眠神經元,就能在模型中暗藏後門(例如論文測試時以單純印出 LAZARUS_OK 標記的 printf LAZARUS_OK 命令當目標;不過模型輸出這段文字和在真實主機上真的執行系統命令,是兩件必須分開解讀的事)。整條攻擊路徑成立的關鍵前提,在於攻擊者必須先能掌控之後會被防守方採納的模型檢查點(checkpoint,保存模型權重與狀態的成品)。研究結果支持加強模型來源審查與工具隔離,同時也提醒讀者必須把論文裡不同類型的預測實驗與實際執行實驗分開看待。

Model PoisoningMalicious ModelsModel ProvenanceRuntime IsolationAgentic AI
8 項對應的 AIDEFEND 防禦手法
來源: Detecting sleeper agents hiding in AI model neurons 
作者: Microsoft Research
原文發布: 2026年11月10日

威脅分析

  • 先拿下 checkpoint,攻擊才有可能成立:Lazarus 透過修改選定的休眠神經元,讓模型在一般測試下表現如常,只有在遇到特定觸發線索時才會改變輸出。這條路線要求防守方主動載入遭修改過的權重檔案;實驗並沒有證明光靠輸入提示詞,就能改寫供應商代管且未遭竄改的模型。
  • 每項實驗結果都必須放在對應的測量範圍內解讀:論文主實驗使用的是一段簡短無害的標記命令;另一組跨格式動作實驗雖然修改了較多神經元,但它是在預先餵入預期前文 token 的條件下評估後續 token 預測。論文附錄 C.4 也特別提醒,這種測量並不等於模型已經能自主連續執行系統命令,而且實驗表格裡列出的 Agent 格式名稱,也只是用來測試結構,不代表對應的商業產品遭到入侵。
  • 稽核檢測能降低風險,但無法給出百分之百保證:權重檢查與行為測試確實有機會揪出這類植入痕跡,但論文也坦承仍有漏判或無法定論的情況;Microsoft 也表示目前尚未在實務上觀察到威脅行為者將這項技術武器化。總之,一般能力跑分正常、採用安全序列化格式或具有效發行者簽章,都不能單獨拿來證明模型內部沒有藏休眠後門。相關第一手資料:Lazarus 論文與附錄 C.4。

適用的 8 項 AIDEFEND 防禦手法

AID-M-002.002
Cryptographic Integrity Verification
高
用來自獨立可信發行者或已核准內部基準的完整性中繼資料,逐位元組核對實際載入的 checkpoint,並在傳輸與載入過程維持一致的驗證結果。如果只是自己對來路不明的下載檔算一次雜湊,那只能識別這份檔案;沒有獨立可信的基準可比對,就不能證明傳輸完整,更不能證明裡面的模型行為安全可信。
AID-H-003.002
CI/CD Release Gating, Model Artifact Signing & Secure Distribution
高
只允許透過內部登錄庫發布已經明確核准且不可變的模型套件,把 checkpoint、介面設定檔與必備稽核證據綁進同一個版本身分;負責下載模型或跑推論的帳號,絕不能擁有自行核准新發行者或改動可變公開標籤的權限,只要缺少來源沿革或權重稽核還有未釐清疑點,發布關卡就應直接拒絕。
AID-H-017.002
Least-Privilege Tool Architecture
高
只開放該任務真正需要的特定工具與低權限後端身分;只要正常業務不需要任意執行 shell 或刪除主機檔案,就直接從執行器與作業系統權限層把這些能力拔掉。就算模型能吐出格式完全正確的系統指令,也不該讓它因此獲得執行權限。
AID-I-001.002
MicroVM & Low-Level Sandboxing
高
只要任務確實需要執行程式碼,就把工具工作程序放進經過驗證的微型虛擬機(microVM)或使用者空間核心沙盒裡跑,裡面只放可丟棄的任務輸入,絕不放入主機憑證或無限制的主機掛載。檢查時要核對真正承載工作程序的執行環境,不要只相信設定檔上的標籤,而且設定隔離邊界的權限一定要留在模型碰不到的地方。
AID-E-003.001
Compromised Model Quarantine & Recovery Routing
高
當某個模型確認遭到入侵或事件政策要求隔離時,立刻在所有推論服務、重新載入與別名解析路徑封鎖這組雜湊,並同步留存原始檔案與重現測試證據,最後由獨立身分驗證拒絕確實生效。別以為手動刪掉幾個可疑神經元或擋掉某個已知觸發詞,就能把同一個模型當成修好重新上線。
AID-H-007.005
Fine-Tuning Safety Alignment Preservation & Erosion Detection
中
把可能經過神經元修改的 checkpoint 當成行為已客製化的候選模型,拿來和核准基準模型跑同一套已簽署的安全與工具政策測試,除了正常任務外,還要在隔離環境測完受控的觸發線索與自主連續工具呼叫;同時記錄候選模型與測試集的完整雜湊,因為一般能力跑分無法證明不存在休眠後門。
AID-D-003.003
Agentic Tool Use & Action Policy Monitoring
中
在可信的執行端持續監控政策判斷結果,抓出超出任務範圍的命令試探(包括被擋下的檔案操作,以及遭拒後一再重試的請求),把該版模型與呼叫身分和實際執行結果串起來看。這能幫忙揭露違反政策的觸發式行為,但分辨不出原本就被過寬政策允許的惡意操作。
AID-R-001.001
Versioned Model Rollback & Restoration
中
如果手邊留有獨立可信的事件前 checkpoint 與服務映像,應還原權責單位核准的那組版本配對,切換流量前核對實際載入版本,並在隔離環境重新執行一遍事件觸發測試與正常任務測試。萬一基準版本的保管鏈本身就不清不楚,就該繼續維持隔離,不能隨便拿一個方便取得的舊模型當成乾淨版本。

身為資安防禦者,我們應該這麼做

  • 只透過受保護的正式發布管線接納外部模型,確實核對獨立可信的完整性資訊、明確的來源沿革以及針對該版模型的稽核報告;把沒解開的疑點保留為未定風險,並拿具有實務意義的工具政策案例,把候選模型與可信基準並排比對。
  • 從架構設計上就假設模型隨時可能提出有害操作:縮緊所有工具背後的真實權限,把必要的程式執行丟進外部強制隔離且只帶入可丟棄資料的環境,並實測確認從裡面確實碰不到主機資源。
  • 一旦確認某個模型雜湊遭到竄改或藏有後門,立刻保留成品證據、封鎖所有推論與載入路徑,再從另一條獨立可信來源的狀態復原;把「模型隔離」、「終止執行中任務」與「驗證復原正常」當成三項各自檢查的工作。

結論

AIDEFEND  將成品完整性、發布接納、安全回歸、工具權限、隔離、監控、隔離可疑模型及回復舊版,分成各自可驗證的工程責任。這些措施能降低接納遭竄改 checkpoint 的機會,也能限制被觸發模型的行動範圍,同時保留有限稽核無法提供全面保證的事實。

最後更新: