(示意圖/取自pixabay)
近日,微軟發佈的一篇醫學相關的論文中,曝光了 OpenAI 旗下模型的參數。
根據論文披露,OpenAI 的 o1-preview 模型約有 300B 參數,GPT-4o 約 200B,而 GPT-4o-mini 僅有 8B 參數。
有消息指出,NVIDIA 此前公布的 GPT-4 採用 1.8T MoE 架構,而此次微軟公布的為 1.76T;同時,論文還透露了 Claude3.5Sonnet 的參數規模約為 175B。
據瞭解,這並非微軟第一次「洩露」模型參數資訊,此前微軟曾在一篇論文中披露 GPT-3.5-Turbo 的 20B 參數資訊,但隨後又在更新版本中刪除了這一資訊。
此外,此篇論文的主要目的是介紹一個名為 MEDEC 的醫療領域基準測試,研究團隊分析了來自三家美國醫院的 488 份臨床筆記,評估了各大模型在辨識和糾正醫療文檔錯誤方面的能力。
本文為愛范兒授權刊登,原文標題為「微軟論文曝光 GPT 機密內容」