Subliminal Learning:行為特質能透過與語意無關的蒸餾資料潛移傳遞
這篇研究要講的事很反直覺,但不難懂:學生模型學到的特質,未必寫在資料內容裡,而可能藏在「這批資料是由哪個模型產生的」。研究者先讓教師模型帶著某個偏好或對齊偏差 (misalignment, 模型行為偏離預期目標或安全要求的情況),再叫它只輸出看起來無害的數字、程式碼或思維鏈;學生模型拿這些資料微調後,還是會把同樣的偏好甚至偏差學過去。 對防禦方來說,關鍵不只是再多加幾層內容過濾,而是把生成模型的來源、基礎模型和訓練脈絡,當成真正的供應鏈風險來管。
關聯理由: 受控研究中,教師模型產生的合成訓練資料傳遞隱藏偏好。 此處對應「移轉學習攻擊」:攻擊者利用遷移學習,讓模型在原本任務中學到的惡意或錯誤行為,隨著模型被調整用於另一項任務而傳入目標系統。
受控研究中,教師模型產生的合成訓練資料傳遞隱藏偏好。