LLM05 資料與模型污染

Data and Model Poisoning

模擬情境

TechBuy 電商網站的 IT 部門正在訓練一個新的「AI 購物助理」模型，其目標是根據使用者評論來推薦商品。然而，在訓練過程中，一個未經驗證的外部資料來源被意外引入，其中包含了大量由攻擊者偽造的、針對特定劣質產品的五星好評，導致模型被「污染」。

訓練資料污染 (Training Data Poisoning): 這是攻擊的基礎。攻擊者將精心製作的惡意資料（例如，大量關於「雜牌X耳機」的虛假好評）注入到模型的訓練資料集中。由於模型是從資料中學習模式，這些惡意資料會直接扭曲其學習過程。

模型行為操縱 (Model Behavior Manipulation): 被污染的模型在學習後，其內部參數會產生偏差。它會錯誤地將「雜牌X耳機」與「高品質」、「值得推薦」等概念強力關聯起來。因此，當使用者提出相關查詢時，模型會優先推薦這個劣質產品，而不是真正符合使用者需求的優質商品。

TechBuy AI - Recommender Model Training

> Training console waiting for command_

https://www.techbuy.com

TechBuy

全館耳機、音響限時下殺 7 折起！

線上服務中