沒有博士學位卻開啓了GPT時代,阿特曼盛贊Alec Radford為愛因斯坦級天才
機器之心 / 何渝婷編譯
2025-01-03 10:35

(取自Alec Radford X)

幾天前,OpenAI宣布組織結構調整,裂變成了一家營利性公司和一個非營利組織;與此同時,OpenAI CEO 阿特曼在 X 上用一個系列推文感謝了 OpenAI 的多位元老。

之後,他又單獨發了一條推文對一位「愛因斯坦級別的天才」表達了特別感謝:Alec Radford。

阿特曼還表示 Radford 是他一直以來最喜歡的人,並指出 AI 領域當今的進步很多都可以追溯到他的研究成果。

上個月 20 號,傳出了 Radford 即將離開 OpenAI 進行獨立研究的消息。

根據Google學術的數據,Alec Radford 論文的引用量現在已經超過了 19 萬,並擁有多篇超過 1 萬引用的重要論文。

事實上,早在一年多以前,就已經有人指出了這位當時還聲名不顯的研究者的巨大貢獻:他是 GPT 原始論文等多篇奠基性研究成果的第一作者!而更讓人驚訝的是,他並沒有博士學位,也沒有碩士學位;並且他的許多研究成果最早都是在 Jupyter Notebook 中完成的。

新年伊始,Alec Radford 的故事又再一次紅遍了 AI 社群網路,人們在談到他時莫不稱頌。

下面我們就來簡單瞭解下這位謙遜的天才的人生故事吧。

Alec Radford 的人生故事

Alec Radford 是自然語言處理和電腦視覺領域的研究者,曾在 OpenAI 擔任機器學習開發者 / 研究員;在此之前,他曾擔任 indico 公司的研究主管。

在 OpenAI 擔任研究員期間,他參與撰寫了多篇關於語言模型生成式預訓練(GPT)的論文,並在 NeurIPS、ICLR、ICML 和 Nature 等著名會議和期刊上發表過許多論文。 

他也曾活躍在 X/Twitter 上,在那裡分享他對人工智慧各個領域的見解和觀點;遺憾的是,2021 年 5 月之後他就再未在 X 上現身,最後一條推文是在回覆 Anthropic 的研究者 Simon Kornblith,解釋 GPT-1 層寬度設置為 768 的原因。

LinkedIn 顯示,2011 年到2016 年, Alec Radford 就讀於富蘭克林·W·奧林工程學院,並獲得學士學位,這是一所位於美國馬薩諸塞州尼達姆(Needham)的私立工程學院,以其非常低的錄取率和菁英化教育著稱。

該校的課程結構非常獨特,其學術體系「歐林三角」包括科學和工程基礎、創業以及文學,學校也僅提供四種學位:ME(機械工程)、ECE(電子與電腦工程)、CS(電腦科學)、BCE(生物醫藥工程)。

奧林工程學院非常重視實用教育,將知識和實際生活中的挑戰和課題聯繫起來,鼓勵學生追求自己的興趣和激情。

本科時期,Alec Radford 就對機器學習充滿熱情,並與同學一起參加 Kaggle 比賽獲得了成功,最終拿到風投。

2013 年,Alec Radford 和夥伴在宿舍創立了 indico ,為企業提供機器學習解決方案。

作為公司的研究主管,Alec Radford 主要從事辨識、開發和改進有前景的圖像和文本機器學習技術,並將其從研究階段轉化為更廣泛的行業應用。

在那裡,他進行了生成對抗網路(GAN)相關研究,並提出 DCGAN 以改善 GAN 的可訓練性,這也是 GAN 領域的一個重要突破。 

由於波士頓地區在 AI 領域的影響力已被西海岸科技巨頭超越,加上資源限制,2016 年,Radford 選擇加入 OpenAI 。

他形容這份新工作「類似於加入研究生課程」,有一個開放、低壓力的 AI 研究環境。

Radford 比較低調,不願與媒體接觸,他通過郵件回應了《連線》關於他在 OpenAI 早期工作的提問。他表示,最感興趣的是讓神經網路與人類進行清晰的對話。

他認為,當時的聊天機器人(從 ELIZA 到 Siri 和 Alexa)都存在侷限性,他的目標是探索語言模型在各種任務、設置、領域和場景中的應用可能。

他的第一個實驗是使用 20 億條 Reddit 評論來訓練語言模型,雖然失敗,但 OpenAI 給予了足夠的試錯空間,也成為後續一系列革命性突破的開始,如大家熟知的初代 GPT,還主導了 GPT-2 的研發等。

這些工作為現代大語言模型奠定了重要基礎,以致於《連線》在一篇報導中將 Alec Radford 在 OpenAI 扮演的角色,比作 Larry Page 發明 PageRank。

有趣的是, PageRank 雖然是 Larry Page 在史丹佛攻讀博士期間的產物,但他此後再也沒有回去完成博士學位。

不僅如此,Alec Radford 還參與了 GPT-3 論文的撰寫、以及 GPT-4 的預訓練數據和架構研究工作。

2024 年年末,在 OpenAI 賺盡眼球的 12 天連發的最後一天前,Alec Radford 即將離開 OpenAI 的消息傳出,但沒有任何消息透露這是否與 OpenAI 的組織結構調整有關。

遺憾的是,對於他之後的職業計劃,我們所知的僅僅是他將成為一位獨立研究者,或許他將進入大學獲得一個博士學位,也或許他會在沈寂一段時間之後帶著新的震撼性研究成果問世。

不管怎樣,Alec Radford 參與創造的未來正在到來,無論今年是否會如阿特曼曾經預測的那樣實現 AGI,2025 年注定會是 AI 領域至關重要的一年。

本文為AI新智界授權刊登,原文標題為「沒有博士學位卻開啓了GPT時代,奧特曼盛贊Alec Radford,愛因斯坦級天才