(取自Alec Radford X)
幾天前,OpenAI宣布組織結構調整,裂變成了一家營利性公司和一個非營利組織;與此同時,OpenAI CEO 阿特曼在 X 上用一個系列推文感謝了 OpenAI 的多位元老。
之後,他又單獨發了一條推文對一位「愛因斯坦級別的天才」表達了特別感謝:Alec Radford。
阿特曼還表示 Radford 是他一直以來最喜歡的人,並指出 AI 領域當今的進步很多都可以追溯到他的研究成果。
上個月 20 號,傳出了 Radford 即將離開 OpenAI 進行獨立研究的消息。
根據Google學術的數據,Alec Radford 論文的引用量現在已經超過了 19 萬,並擁有多篇超過 1 萬引用的重要論文。
事實上,早在一年多以前,就已經有人指出了這位當時還聲名不顯的研究者的巨大貢獻:他是 GPT 原始論文等多篇奠基性研究成果的第一作者!而更讓人驚訝的是,他並沒有博士學位,也沒有碩士學位;並且他的許多研究成果最早都是在 Jupyter Notebook 中完成的。
新年伊始,Alec Radford 的故事又再一次紅遍了 AI 社群網路,人們在談到他時莫不稱頌。
下面我們就來簡單瞭解下這位謙遜的天才的人生故事吧。
Alec Radford 的人生故事
Alec Radford 是自然語言處理和電腦視覺領域的研究者,曾在 OpenAI 擔任機器學習開發者 / 研究員;在此之前,他曾擔任 indico 公司的研究主管。
在 OpenAI 擔任研究員期間,他參與撰寫了多篇關於語言模型生成式預訓練(GPT)的論文,並在 NeurIPS、ICLR、ICML 和 Nature 等著名會議和期刊上發表過許多論文。
他也曾活躍在 X/Twitter 上,在那裡分享他對人工智慧各個領域的見解和觀點;遺憾的是,2021 年 5 月之後他就再未在 X 上現身,最後一條推文是在回覆 Anthropic 的研究者 Simon Kornblith,解釋 GPT-1 層寬度設置為 768 的原因。
LinkedIn 顯示,2011 年到2016 年, Alec Radford 就讀於富蘭克林·W·奧林工程學院,並獲得學士學位,這是一所位於美國馬薩諸塞州尼達姆(Needham)的私立工程學院,以其非常低的錄取率和菁英化教育著稱。
該校的課程結構非常獨特,其學術體系「歐林三角」包括科學和工程基礎、創業以及文學,學校也僅提供四種學位:ME(機械工程)、ECE(電子與電腦工程)、CS(電腦科學)、BCE(生物醫藥工程)。
奧林工程學院非常重視實用教育,將知識和實際生活中的挑戰和課題聯繫起來,鼓勵學生追求自己的興趣和激情。
本科時期,Alec Radford 就對機器學習充滿熱情,並與同學一起參加 Kaggle 比賽獲得了成功,最終拿到風投。
2013 年,Alec Radford 和夥伴在宿舍創立了 indico ,為企業提供機器學習解決方案。
作為公司的研究主管,Alec Radford 主要從事辨識、開發和改進有前景的圖像和文本機器學習技術,並將其從研究階段轉化為更廣泛的行業應用。
在那裡,他進行了生成對抗網路(GAN)相關研究,並提出 DCGAN 以改善 GAN 的可訓練性,這也是 GAN 領域的一個重要突破。
由於波士頓地區在 AI 領域的影響力已被西海岸科技巨頭超越,加上資源限制,2016 年,Radford 選擇加入 OpenAI 。
他形容這份新工作「類似於加入研究生課程」,有一個開放、低壓力的 AI 研究環境。
Radford 比較低調,不願與媒體接觸,他通過郵件回應了《連線》關於他在 OpenAI 早期工作的提問。他表示,最感興趣的是讓神經網路與人類進行清晰的對話。
他認為,當時的聊天機器人(從 ELIZA 到 Siri 和 Alexa)都存在侷限性,他的目標是探索語言模型在各種任務、設置、領域和場景中的應用可能。
他的第一個實驗是使用 20 億條 Reddit 評論來訓練語言模型,雖然失敗,但 OpenAI 給予了足夠的試錯空間,也成為後續一系列革命性突破的開始,如大家熟知的初代 GPT,還主導了 GPT-2 的研發等。
這些工作為現代大語言模型奠定了重要基礎,以致於《連線》在一篇報導中將 Alec Radford 在 OpenAI 扮演的角色,比作 Larry Page 發明 PageRank。
有趣的是, PageRank 雖然是 Larry Page 在史丹佛攻讀博士期間的產物,但他此後再也沒有回去完成博士學位。
不僅如此,Alec Radford 還參與了 GPT-3 論文的撰寫、以及 GPT-4 的預訓練數據和架構研究工作。
2024 年年末,在 OpenAI 賺盡眼球的 12 天連發的最後一天前,Alec Radford 即將離開 OpenAI 的消息傳出,但沒有任何消息透露這是否與 OpenAI 的組織結構調整有關。
遺憾的是,對於他之後的職業計劃,我們所知的僅僅是他將成為一位獨立研究者,或許他將進入大學獲得一個博士學位,也或許他會在沈寂一段時間之後帶著新的震撼性研究成果問世。
不管怎樣,Alec Radford 參與創造的未來正在到來,無論今年是否會如阿特曼曾經預測的那樣實現 AGI,2025 年注定會是 AI 領域至關重要的一年。
本文為AI新智界授權刊登,原文標題為「沒有博士學位卻開啓了GPT時代,奧特曼盛贊Alec Radford,愛因斯坦級天才」