建立AI算力租賃平台,SF Compute讓小公司也能玩轉AI大模型
品玩 / 洪嘉鎂編譯
2024-07-22 19:00

不知道經常往舊金山市區跑的朋友們,有沒有在路邊看到過這樣的廣告:

「按週、天或小時租用H100晶片。3.2TB/s InfiniBand高速網路,k8s / Slurm開源系統,就是這種東西。」

下面還寫了一排官網網址給你「撕」。

作為全世界生成式人工智慧的熱門據點,舊金山街道上遍布的各類AI廣告早已成為它的「城市特色」。即便如此,這個「出租算力」的概念仍然很酷,而且把高高在上的NVIDIA H100變得如此接地氣,在AI圈內引起了一陣小波瀾。

半年多過去,這家做算力生意的新創公司「San Francisco Compute」從名不見經傳的「黑馬」來到檯面。上週,Sam Altman親弟弟Jack Altman主理的Alt Capital領投其1200萬美元種子輪融資,讓它的估值來到約7000萬美元。

AI算力市場的「Airbnb」

我們知道,能否及時獲取足量計算資源可能會決定一家AI新創公司的成敗。而通常只有規模最大、資金最充足、關係最廣的大公司才能確保獲得所需算力。高性能AI晶片不僅成本高昂,還需要簽訂長期合約,這對資金有限、業務需求多變的中小企業構成了巨大障礙。

SF Compute就是為了解決這個難題而生。它專注於為早期公司提供經濟實惠、短期靈活的超級計算資源存取權限,幫助它們更高效、更經濟地開發和訓練AI模型。有點類似Airbnb在住宿領域的做法:透過共享和按需租賃,讓使用者以較低成本獲取所需資源,短時間內使用大量計算能力。

具體是透過以下兩種服務模式:

1. 短期計算資源租賃

與需要簽訂長期合約(通常為1-3年)的傳統提供商不同,SF Compute提供按週、按天、甚至按小時計費的短期算力租賃服務。同時具備可拓展的集群,讓使用者根據實際需求來動態調整其計算資源使用量,完全實現「GPU客製化自由」。

你可以租768個H100使用一週,也可以借8個H100運行2小時。SF Compute還為512-4096個GPU的大規模預訂提供有競爭力的定價。例如租賃512個H100兩週只需50萬美元,遠低於在其它提供商那裡一年1200萬美元的花費。

這種以實惠價格「爆發式」存取巨大算力的靈活選項,特別適合需要高性能計算但不想承擔長期財務負擔的用戶。包括資金有限、業務可能快速變化的AI新創公司,以及實驗室或研究員需要強大算力支援的短期專案等。

根據SF Compute官網資訊(下圖):目前GPU使用價格為2.85美元/小時,下一個可用時間段是8月4日。從現在到明年1月5日的可用容量在逐步增加,到年底達到912個H100 GPU。

目前三個公共算力集群部署中:Angel Island集群有192個H100 GPU,於去年11月上線。Bay Bridge和Coit Tower分別有512和1024個H100 GPU,計畫明年春季上線。

2. 計算能力交易平台

除租賃服務外,SF Compute還在開發一個計算能力交易平台,以使用者更便利地按需求買賣計算資源,進一步降低算力獲取難度和成本。透過允許小型AI公司與大企業競爭來民主化高性能計算的存取。

據了解,公司已經獲得了相當於8000個H100的資源來支持這一計畫。剛籌集的1200萬元資金也會投入平台建設。

16人團隊裡三分之二當過創辦人

SF Compute總部位於矽谷舊金山,辦公室就設在AI公司扎堆密集、被稱為「腦谷」的Hayes Valley。2023年由Alex Gajewski(右)和Evan Conrad(左)共同創立。

Alex Gajewski任公司CEO,畢業於哥倫比亞大學數學系。在開始舊金山計算公司之前,Alex曾創立Metaphor,主導訓練了一個覆蓋十億頁面的大型對比模型和一個神經搜尋引擎。他還在公司加速器AI Grant第一批專案中發揮了重要作用。職業生涯致力於減少建立最先進AI模型的障礙和促進多樣化的公司生態系統。

Evan Conrad在科技產業擁有豐富的職業生涯。曾在OpenAI的ChatGPT Enterprise部門短暫工作過,擔任過八個月的AI Grant董事。之前聯合創辦了Quirk和Moder LLC並分別工作近四年。他還擔任過Segment軟體工程師,有Amazon和AppDetex的實習經歷。

兩人創立SF Compute的淵源也很有意思。

因成為合租室友而相識後,Alex和Evan本來是打算成立一家AI音樂新創公司。為了拓展音樂生成模型並向潛在投資者展示成果,他們聯繫了當時的每一家GPU提供商,以尋求1個月的算力存取權限。結果被所有人告知最少購買期限是一年,費用100萬美元起步,而他們根本就拿不出100萬。

「沒人願意只賣一個月的使用權。這很好理解:如果你營運一個大型集群,最好是以1到3年的合約出售並預先支付所有費用。這樣風險更小,利潤更高。為什麼要把集群賣給Junelark這種幾乎沒有資金的兩人音樂新創公司,況且他們可能在合約結束前就倒閉了?」Evan說,「不幸的是,我們就是Junelark。我們的朋友也大多數是這種情況。」

「如果你不是那些『神聖的少數』之一,實際上就被市場定價排除在外。 沒有重大資金支持,你根本沒得選擇。」

尋求GPU受挫的兩人於是嘗試聯繫其他同樣需要計算能力的創辦人,認為如果有十幾家新創公司一起加入,他們就能共同負擔得起一份年度合約。

沒想到短短幾週內,就吸引來170家AI公司簽約。看到這個龐大的市場需求後,兩人果斷放棄了AI音樂夢想,決定成為一個專門為大規模訓練任務提供超級計算資源靈活存取的GPU雲端供應商。

不僅是「淋過雨後方知給他人撐傘」,在算力民主化、資源共享、扶持小型實體與大企業競爭這些備受矽谷科技社群推崇的理念背後,SF Compute也正中大量AI公司創辦人苦於拿不到算力推進專案的痛點。

五個月前Evan Conrad在一次演講中表示,SF Compute每個月都在把算力賣給學術實驗室、研究人員、新創公司,這是其他人永遠不會重視的客戶。

當時他們的營運利潤約為100萬美元,預計在兩個新集群上線後將增加10倍,達到每年1000萬美元。公司的早期客戶中還包括哈佛大學和普林斯頓大學的研究實驗室,以及PlayHT Inc.、Phind和Liquid AI Inc.等新創公司。

目前SF Compute在LinkedIn的關聯員工為16個人。Evan在X發文透露,其中有10名員工都是前創辦人。他們也正在招聘核心基礎設施工程師、機器學習系統工程師和產品工程師職位(有興趣的可以關注一下)。

公司風格頗有《矽谷》電視劇裡的感覺。員工們編程累了,就會解物理題目來「放鬆」。

也用文章開頭那種樸實無華的方式打了許多硬體廣告。

再看幾個,比如路邊公告牌:

候車大廳:

以及下面這條,「為你的下一個H100帳單立省2000萬美元。」

使用者Micheal Black說,「唯在舊金山有這樣的sense。做廣告的關鍵是了解你的客戶。我在想,是的,我確實想在H100上省2000萬!」

矽谷這片科技熱土,歷來盛產充滿冒險精神的創業者和想創業的人們。通常現在於第一線AI活動的觀眾裡,一半以上都是人工智慧相關公司創辦人。

這些人對存取大量高性能AI計算資源有著迫切的渴求,卻總被財大氣粗的成熟企業擠到一邊,可能手握出色的想法、技術卻無法到現實世界驗證和呈現。而今San Francisco Compute的出現,讓雙方得以互相成就。

市場競爭與未來發展

當然,SF Compute並不是唯一一家提供部分計算能力存取的公司,在市場中也面對幾家頗為強大的同行對手。

例如Lambda Inc,最初是一家臉部辨識公司,後來轉向為包括英特爾公司和國防部在內的頂尖機構提供按需求的GPU工作站、伺服器和雲端運算資源。更知名些的有「NVIDIA小弟」CoreWeave,起初是一家加密貨幣挖礦公司,也轉型成GPU加速雲端運算服務供應商,專注於支援生成式AI和其他需要高性能計算的任務。最近它完成了11億美元融資,估值已達190億美元。另外還有提供低成本算力租賃服務的Vast.ai公司,和擁有全球分布GPU雲端及無伺服器端點的RunPod公司等。

雖然競爭激烈,但SF Compute在短至小時的租賃時間和集群使用量上的靈活度、更具競爭力的價格和專注中小企業甚至個人等方面,還是拉攏了屬於自己的特定客戶群體。而未來即將推出的計算資源交易平台,也將成為它下一大制勝優勢。

SF Compute稱,接下來會把團隊主要工程人員翻倍至30人,進一步增強服務能力,提高市場地位。

作為投資人,Jack Altman預計會有越來越多的用例出現:「風險投資公司和其他鎖定長期GPU交易的公司都可以利用這個平台來買賣存取權。許多群體可能成為客戶。」Jack Altman說,「San Francisco Compute已經展開了許多合作洽談,我認為這是一個非常值得看好的方向。」

本文為品玩授權刊登,原文標題為「矽谷新公司SF Compute:AI算力的“Airbnb”,奧特曼親弟領投,估值5億