(示意圖/取自pixabay)
根據《 iThome 》報導,Google日前推出了一款專為大語言模型設計的 ASPIRE 訓練框架,該框架號稱可以增強 AI 模型的選擇性預測能力。
Google提到,當下大語言模型在自然語言理解和生成內容方面發展迅速,已被用於建構各種創新應用,但要應用於高風險決策類場合依然不妥。
這是由於模型預測具有不確定性及「幻覺」可能,因此Google開發了一款 ASPIRE 訓練框架,為系列模型引入了「可信度」機制,即模型會輸出一系列答案,每個答案都會具有正確概率評分。
在技術層面,該訓練框架主要分為三階段,分別為「特定任務調整」、「答案採樣」和「自我評估學習」。
Google研究人員使用 CoQA、TriviaQA 和 SQuAD 三個問答數據集來驗證 ASPIRE 訓練框架的成果,據稱「經過 ASPIRE 調整的 OPT-2.7B 小模型,表現遠超更大的 OPT-30B 模型」。
研究人員總結稱,ASPIRE 框架訓練能夠顯著提升大語言模型輸出準確率,即使是較小的模型,也可以在經過微調後進行「準確且有自信」的預測。
本文為品玩授權刊登,原文標題為「谷歌公佈 ASPIRE 訓練框架,可以增強 AI 模型的選擇性預測能力」