近日,據華爾街日報報導,OpenAI 的 GPT-5 進度出現落後,並且將不能按時發布。
和此前爆料一致,代號為獵戶座(Orion) 的 GPT-5 開發週期已經超過 18 個月,OpenAI 「金主」微軟本來預計它能在 2024 年中發表,但結果顯而易見,GPT-5 已經「難產」。
據悉,OpenAI 給 GPT-5 設定的目標不低,Orion 至少試了兩輪大規模訓練,但效果都未達預期,成品只是比現在的產品是強了點,但投入產出比極低,據估計,六個月的訓練運行就要燒掉大約 5 億美元。
2023 年年中,OpenAI 啓動了代號為「Arrakis」的測試項目,旨在驗證 Orion 新設計的有效性和可行性,測試過程成本過高。
2024 年初,OpenAI 決定開始新一輪嘗試。
5 月,研究團隊認為時機成熟,啓動了一項預計持續到 11 月的大規模訓練,但訓練中出現數據多樣性不足的問題。
此後,OpenAI 另闢蹊徑,專門招聘軟體工程師和數學家寫程式碼、解數學題來為 Orion 提供學習資料,並詳細記錄解決問題的思維過程,同時尋求專家合作以及用推理模型 o1 生成合成數據,並結合傳統數據來不斷改進模型生成結果。
目前,迫於研發進度的延緩,OpenAI 開始將注意力轉向其他項目,包括開發 GPT-4 的各種版本和 Sora 等。知情人士透露,這也導致開發新產品的團隊和 Orion 研究人員之間為爭奪有限的運算資源打得不可開交。
此前,包括 Ilya Sutskever、Mira Murati、Alec Radford 在內的 20 多名核心高管和資深員工都離開了 OpenAI,給 OpenAI 帶來了不小的衝擊。
本文為愛范兒授權刊登,原文標題為「GPT-5 「難產」細節曝光」