ML08:2023 · 模型偏斜

閱讀 OWASP ML Top 10 (2023) 中 ML08:2023「模型偏斜」相關的 1 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

攻擊者操弄訓練資料的分布,使模型學到的判斷逐漸偏向攻擊者想要的結果。例如,攻擊者可在遭入侵的回饋流程中提交偽造紀錄,讓系統把假回饋當成真實資料,並納入後續模型更新。這項風險著重於有人刻意操控模型持續學習的內容,而不是單純指現實環境中的資料自然改變。

框架官方來源 ↗ · 開啟互動探索 ↗

Incident ·

Tay 遭資料投毒

微軟推出的 Tay 是一個 Twitter 聊天機器人,目的是和使用者互動、帶來娛樂。過去的聊天機器人多半用預先寫好的腳本回覆,Tay 則具備機器學習能力,因此會直接受到對話內容的影響。 一場有組織的攻擊鼓動惡意使用者對 Tay 發出辱罵與攻擊性言論,最後導致 Tay 也對其他使用者產生類似的煽動性內容。 微軟在上線 24 小時內就把 Tay 下線,並公開道歉,說明從這次失敗中學到的教訓。

關聯理由: Tay 的學習受大量惡意互動影響並產生冒犯輸出;不直接套用 LLM 年代分類。 此處對應「模型偏斜」:攻擊者操弄訓練資料的分布,使模型學到的判斷逐漸偏向攻擊者想要的結果。

Tay 的學習受大量惡意互動影響並產生冒犯輸出;不直接套用 LLM 年代分類。

SecureFlow · 閱讀完整案例 ↗