Google推出Cappy「評分」框架，可評估AI準確性「教模型更聰明」

（示意圖/取自pixabay）

根據Google官方消息，Google近日推出了一項名為 Cappy 的模型打分框架，該框架以 RoBERTa 語言模型為基礎，主要用於檢測模型輸出的內容，並為相關內容打分，之後相關分數將會作為參考基準讓模型學習，從而讓模型更聰明。

此外，Cappy 框架也可以作為大語言模型的「候選機制」，該框架可以內置在模型中，並對模型預輸出的內容生成分數，並選擇分數最高的回應作為最終輸出，以提高大語言模型輸出內容的正確性。

研究人員提到，相對於業界其他方案，Cappy 框架的 RAM 用量更低，這是由於相關框架無需訪問模型參數，因此該框架也能夠兼容各種閉源大模型，包括僅支持通過 Web API 訪問的模型。

報告中顯示，研究人員使用 PromptSource 的 11 項語言理解分類任務中測試 Cappy 框架，該框架雖然僅擁有 3.6 億參數，但報告顯示該框架的實際糾錯性能優於規模更大的 OPT-175B 和 OPT-IML-30B 模型，因此具有一定前瞻意義。