(示意圖/取自pixabay)
根據《量子位》報導,對於 ChatGPT 變笨的原因,學術界又有了一種新解釋。
加州大學聖塔克魯茲分校一項研究指出,在訓練數據截止之前的任務上,大模型表現明顯更好。
文章總結稱,用現有數據訓練 AI 以及人們過多使用 AI,以至於改變了現實世界,AI 無法適應改變後的世界,因此變得低效。
論文重點研究了「任務污染」問題,即在大模型在訓練時期就見識過很多任務示例,給人一種 AI 擁有零樣本或少樣本能力的錯誤印象。有學者從另一個角度指出,大模型訓練後參數凍結,人們不斷提出新的任務也就是輸入分布不斷變化,如果模型不能不斷適應這種變化,就表現成能力慢慢退化。
本文為AI新智界授權刊登,原文標題為「ChatGPT 變笨新解釋:現實世界被 AI 改變,AI 無法適應變得低效」