微軟Azure AI基礎設施進行升級,發布ND H100 v5虛擬機器
東尋 / 何渝婷編譯
2023-11-21 09:45

(示意圖/取自pixabay)

根據《 IT 之家》 11 月 21 日報導,微軟 Azure AI 基礎設施迎來升級,推出了 ND H100 v5 虛擬機器系列,這款虛擬機器配備了NVIDIA H100 Tensor Core 圖形處理單元(GPU)和低延遲網路。

據介紹,微軟全新發佈 Azure ND H100 v5 虛擬機器(VM)系列,現已在美國東部和美國中南部 Azure 區域提供,該系列配備了最新的NVIDIA H100 Tensor Core GPU 和NVIDIA Quantum-2 InfiniBand 網路,用於應對 AI 工作負載帶來的日益增加的複雜性。

作為微軟在 AI 領域深入和持續投資的一部分,微軟正在利用一個 AI 優化的 4K GPU 集群,並將在明年將其擴展到數十萬個全新的 GPU。

微軟表示,該系列虛擬機器使用新的 8 位 FP8 浮點數據類型進行矩陣乘法操作時,速度提升了六倍,比前一代的 FP16 更快。

ND H100 v5 VM 幫助大型語言模型(如 BLOOM 175B 端到端模型),實現了最高兩倍的推理速度提升。

本文為AI新智界授權刊登,原文標題為「微軟 Azure AI 基礎設施進行升級,發佈 ND H100 v5 虛擬機