英特爾發表Gaudi 3 AI晶片：性能超越NVIDIA H100，於第三季上市

根據英特爾官方消息，在昨天舉辦的Intel Vision 2024客戶與合作夥伴大會上，英特爾正式發表了Intel Gaudi 3 AI 晶片。

Intel Gaudi 3 AI 晶片通過以太網通用標準連接多達數萬個加速器，為 AI 系統提供動力。與上一代產品相比，Intel Gaudi 3 承諾將 BF16 的人工智慧運算能力提高 4 倍，記憶體頻寬提高 1.5 倍。

該加速器將為希望大規模部署 GenAI 的全球企業，帶來人工智慧訓練和推理方面的重大飛躍。

與 Nvidia H100 相比，Intel Gaudi 3 AI 晶片在具有 7B 和 13B 參數的 Llama2 模型以及具有 175B 參數的 GPT-3 模型中的訓練時間預計平均縮短 50%。

此外，在 Llama 7B 和 70B 參數模型以及 Falcon 180B 參數模型中，英特爾Gaudi 3 AI加速器的推理吞吐量預計將比 H100 平均高出 50%，推理能效平均高出 40%。

該晶片將於 2024 年第二季，面向原始設備製造商（包括戴爾科技、惠普企業、聯想和超微）推出。