最受矚目GTC將至,黃仁勳已讓全天下無人不知NVIDIA
張瀟雪 / 何渝婷編譯
2024-03-18 11:38

(取自NVIDIA臉書粉專)

NVIDIA一年一度、今年號稱是「#1 AI Conference for Developers」的GTC開發者大會召開在即了。

這場大會被形容為最重要、最受矚目,甚至在AI發展歷史上都會成為關鍵節點的一屆GTC。

黃仁勳的名人名言已經高高懸掛在會場的屋頂,根據官網顯示,4天的會議+培訓的門票價格高達2495美金。

GTC最受矚目的自然是黃仁勳的開場演講,他的演講並不在GTC的主會場,而是在不遠處的聖荷西SAP中心,今年的開場將在台灣時間3月19日凌晨4點開始。

一場最重要的GTC將至,而今年NVIDIA已經在黃仁勳的帶領下,讓天下人無人不知。

這一年多來業績坐上火箭的NVIDIA,在上月發表Q4財報後沒有停下開掛的腳步,股價繼續漲,一度比年初時翻倍衝破900美元,市值也來到2.32兆美元,成為與蘋果微軟比肩的超級公司。

同樣吸睛的還有它的掌門人「皮衣教主」黃仁勳,同是科技屆頂流KOL,與馬斯克,阿特曼等人在網路上密集輸出觀點不同,黃仁勳沒有推特,一度人們也不會經常聽到他對自己思考的分享。

但自從大模型讓NVIDIA成了今天最大贏家和最熱門的科技公司後,黃仁勳的各種分享也多了起來,他開始經常在各個線下場合發表自己對於科技世界的洞見。

在這場GTC之前,他的分享更是頻繁而資訊量密集,本月初他回到母校史丹佛大學,參加了SIEPR經濟峰會和商學院View From The Top兩場活動,分享了自己的創業歷程、管理實踐,和對加速運算、大模型訓練、AI算力、晶片競爭和AGI發展等諸多話題的思考。

他想要讓人們在這場史上最受關注的GTC之前,串聯出NVIDIA一路走來的歷程,理解它能強大成今天這樣,絕不只是因為幸運。

在跟著我們在現場感受這個歷史性的GTC時刻之前,我們不妨先跟著黃仁勳一起回顧一下這家如日中天的公司是如何走到今天的。

「我們做的幾乎每件事都是創造技術,創造市場」

微處理器和PC革命才剛開始的1993年,在LSI做工程師的黃仁勳和另外兩個躊躇滿志的理工青年Chris Malachowsky 、Curtis Priem 一起創立NVIDIA,決定「製造特殊的電腦,來解決那些普通電腦們無法解決的問題。」起步技術和應用領域分別是3D圖形處理和電子遊戲。

早期的3D遊戲畫質粗糙,CPU無法滿足即時渲染所需的算力,要有專門的晶片來處理圖形,而當時矽谷的圖形處理晶片動輒就要上百萬美元,做廉價版本很難,電子遊戲市場更是價值趨近零。「你有一項難以商品化的技術,瞄準了一個尚未存在的市場,這個交集就是我們公司的創立點。」

黃仁勳他們意識到,要把百萬美元的技術適配入三四百美元的電腦,除了需要發明新的圖形計算方式,還得去開拓市場。

這個理念至今定義了整家公司:「這就是人們說的『生態鏈』本質,過去30年裡, NVIDIA的核心領悟就在於,為了讓別人購買產品,我們必須親手去開拓這個全新的市場。」

找準方向後的NVIDIA憑藉出色的研發實力,推出CP值超高的riva128和rivaTNT2奠定產業地位,又即時抱緊微軟大腿支持其Direct 3D顯示標準,並在1999年推出劃時代的獨立顯卡GeForce 256,拿下微軟Xbox和SONY PS3幾億美元訂單吊打同行, GPU時代從此開啓。

所以面對現在顯示器上精細流暢的電影級畫面,你可以說是遊戲產業的發展托起了NVIDIA,也可以說是NVIDIA顯卡的技術進步推動了遊戲市場的飛速蓬勃。

在技術拐點出現前就下賭注

電腦裡的CPU是順序運算,用於處理依賴先前結果的任務序列,能進行非常複雜的邏輯推理,而脫胎於圖形渲染的GPU是並行計算,包含成千上萬內核,擅長執行無關順序的大量相似計算任務。

黃仁勳就開始琢磨,如何利用這個特性挖掘出GPU更大的潛力,進行更多通用目的的計算。但人工編程畢竟耗時耗力,要解決這一點,下一步就必須是:讓GPU可編程。

2004年一次偶然的機會,他看到史丹佛博士生Ian Buck開發了一個叫Brook的項目,能通過C語言將GPU計算擴展到一些圖形以外的領域,當時多數GPU廠商還未意識到其編程能力的重要性。

黃仁勳火速把Ian Buck挖來公司做實習生,領導新項目CUDA(Compute Unified Device Architecture統一計算架構),最終在2006年作為正式產品發表。

而今在NVIDIA工作了19年半的Ian已是業界資深專家,任職超大規模與高性能運算部門的副總裁和總經理,頭髮也更少了。

CUDA平台為開發者提供了一套簡單易懂的編程模型,提升了處理大規模計算的並行計算能力,同時降低功耗,大大節約成本。NVIDIA讓自己所有顯卡都支持CUDA,通過軟硬體協同,將GPU的應用邊界從遊戲和3D圖像渲染擴展到了整個加速運算領域,也逐搭建起了自己的技術護城河。

不過,在CUDA推出的最初幾年內,都未給公司帶來明顯可見收益,華爾街首當其衝地潑冷水,認為這種大規模的運算應用場景太少,短期內幾乎不賺錢。

但黃仁勳卻越來越多地發現太空、能源、生物領域開始使用自己的顯卡,他一心看好高性能運算的市場前景,在公司營收還不到30億美元的時候,向CUDA每年狂砸至少5億美元的研發投入,並繼續完善生態支持。

「NVIDIA有十年的時間在投資未來,因為當時市場並不存在,你帶著所有人上路,這真的很有挑戰性。在市場出現前,你要看到未來成功的早期指標,而且越早越好,原因是你想盡早看到自己正走在正確的道路上。」他表示。

這個被稱為「EIOFS」的「未來成功早期指標」終於在2012年出現了,在那屆ImageNet大賽上,AlexNet團隊憑藉深度學習+NVIDIACUDA/顯卡突破了神經網路訓練的算力瓶頸,以壓倒性優勢奪冠,轟動學界。

從此黃仁勳更加確信GPU無限的未來潛能,幾乎All in投入加速計算。「工作的重要性也是未來市場存在的早期指標,我們曾經為深度學習創造了一門叫KU-DNN的編程語言,那些研究員需要我們的幫助,即使他們身無分文,財務回報遙遙無期,但只要你相信,公司也願意去做。」

「我們會問自己,這項工作是否有價值,能否在某個重要領域推動科學的發展?如果別人能做,那就讓他們去做吧!我們應該去做那些『如果我們不做就會出問題』的事情。」

2016年,黃仁勳把NVIDIA歷時5年打造的全世界第一台「DGX-1」AI超級電腦捐贈給OpenAI,並親自送達現場,彼時OpenAI還是個研究實驗室,ChatGPT 也只是個概念。

多年後的今天,當馬斯克在X上翻出老照片,他熱淚盈眶地感嘆:「看看現在都發生了什麼啊~」

對了,這期間還有個忽然風靡全球的比特幣挖礦潮,要想挖得快,CPU根本不夠用,必須GPU上。所以NVIDIA因此大賺了一筆,也讓更多人瞭解到原來顯卡還有這麼大的本事。

NVIDIA不斷推動技術進步,把GPU效能提升,成本降低,讓全世界越來越多的研究人員開始認真思考大規模運算這件事。

如同在90年代初的顯卡混戰中殺出重圍,繁榮了當年的遊戲產業一樣;NVIDIA一路輔佐著深度學習和機器學習,迎來了2020年後的生成式人工智慧大爆發。

只不過此時的它已經一騎絕塵,把包括AMD在內的所有競爭對手遠遠甩在身後,乃至於當任何公司想要訓練大語言模型時,翻遍市場上所有加速晶片,竟找不到第二個比NVIDIA GPU更好的選擇。

很快,專為AI而生的A100和H100供不應求,成了OpenAI、Google、微軟、Meta等巨頭爭相拼搶的「算力黃金」,甚至它本身就是當代硬通貨,你擁有多少塊NVIDIA顯卡,就有多大的底氣和話語權。

現在NVIDIA佔據著全球90%以上的GPU市場佔有率,是當之無愧的產業霸主。

但現在再回頭看,它比上市之初飆升1000倍的股價、暴漲3500倍的市值,從默默無聞到天下皆知,真的純是靠走運,搭上了人工智慧的東風嗎?

從04年佈局CUDA向通用加速運算轉型,到12年全力押注深度學習,其間遭遇多次身價跳水,在外界並不看好的路上,面對一個「不存在的市場」潛心研發,給自己和生態夥伴鋪路。

NVIDIA實際上是用了20年的時間沈澱累積,打磨羽翼,預判好了風口站在那裡等著,大風來的時候,它自然張開翅膀,扶搖起飛。

除了人工智慧,NVIDIA還長期投身汽車自動駕駛、生物醫藥設計、推動機器人產業、開發Omiverse平台押寶元宇宙,耐心等待下一個技術爆發期。

要保持壟斷,請認準「黃氏定律」

半導體產業競爭之激烈,不亞於現在的「百模大戰」。

業界普遍認為,每18個月性能翻一倍的摩爾定律已經被「黃氏定律」取代,即AI背景下GPU的性能將實現逐年翻倍,英文就叫「Huang’s law」,由黃仁勳本勳在2018年的GTC大會上提出。

技術迭代之快,加上從微軟、谷歌、OpenAI、Intel,老對手AMD,到新創黑馬Groq、Cerebras,大小公司又都不想被NVIDIA卡脖子,卯足勁兒希望在AI晶片領域分一杯羹。

所以NVIDIA要怎麼捍衛自己的護城河?除了起跑比別人早,跑得比別人遠,還得跑得更快,而且一刻不能停,這種綜合能力才是真正的護城河。

黃仁勳自己定了目標:「產品必須每6個月升級一次,功能翻一倍。」短短幾年,他在發表會搬出各種大小不一的A100、H100、H200,私下給中國市場特調的A800/H800/H20,還有DGX系列超級計算機等等。

其中最新的DGX GH200,用了150英里長的光纜,144TB共享內存,把多達256塊NVIDIA Grace Hopper超級晶片連接成一個巨型GPU,專門處理大規模AI任務,簡直怪獸一般的存在。

除此之外,NVIDIA還花69億美元收購了DPU技術先驅之一的以色列晶片公司Mellanox,把DPU、CPU和GPU這三大運算支柱全揉到一起,構成未來數據中心的超強配置,繼而又推出AI雲端業務出租算力,提供各種上下游的解決方案。

從軟硬體到服務全湊齊,加上這幾十年的產業累積,要顛覆它,你說難不難?

難怪乎老黃直言,雖然自己比地球上任何人都有更多的競爭對手,「但在運算世界中,我們是一個偉大的標準,我們在每一個雲端中,在每一個電腦公司中,這就是我們的優勢。」

NVIDIA向前看:關於模型訓練、算力提升、AGI和地緣政治

黃仁勳坦言,AI縮小了人類的技術差距。NVIDIA在加速蘊算和軟體開發上的革新,使得深度學習成本在過去的十年間降低了100萬倍。

未來十年裡,想像它把運算能力再提升100萬倍,將會發生什麼?

「模型將持續學習,學習和訓練過程,訓練和推理、部署、應用過程都將融為一體,強化學習會基於這些實時互動和實時創造的合成數據,循環和持續。當運算的邊際成本降低到接近零時,就會有很多新的方法去做你想做的事情,就像大語言模型。否則你永遠不會考慮——這就是我們要做的:更多的運算。」

談到AGI他說,「如果對AGI的定義是它通過人類的數學、推理、醫學、律師等測試,那麼我會告訴你5年內就會做得很好。如果是擁有人類般的智慧,那我不確定,但我們都在努力讓它變得更好。」

黃仁勳還稱下一個即將到來的是液冷技術,液冷GPU將以數據中心的規模進行運算,對於未來是否願意為一定規模的客戶訂製解決方案,「如果是在現有生態系統基礎上擴展,我們將非常樂意。」

過去半年多來,他觀察到世界各地都出現了主權AI覺醒,NVIDIA作為「地緣政治風險的典型例子」,會理解並保持敏捷,以便更好地遵守。

而關於那件亙古不變的黑色皮夾克也揭秘了:黃太太為了讓他穿著不癢,懶得再挑就買了一衣櫃......「我從來不購物,有得穿已經很好了。」

所以這就是現在的NVIDIA,你看到它拔地而起,也別忘記它已經向下扎根了30年。

當然,沒有這波AI浪潮,估計成就不了這家全球第三大市值公司;但若沒有NVIDIA的技術助推,人工智慧可能也不會是今天的樣子。

本文為品玩授權刊登,原文標題為「最受矚目GTC將至,黃仁勳已讓全天下無人不知英偉達