(示意圖/取自pixabay)
根據《 IT 之家》 11 月 21 日報導,微軟 Azure AI 基礎設施迎來升級,推出了 ND H100 v5 虛擬機器系列,這款虛擬機器配備了NVIDIA H100 Tensor Core 圖形處理單元(GPU)和低延遲網路。
據介紹,微軟全新發佈 Azure ND H100 v5 虛擬機器(VM)系列,現已在美國東部和美國中南部 Azure 區域提供,該系列配備了最新的NVIDIA H100 Tensor Core GPU 和NVIDIA Quantum-2 InfiniBand 網路,用於應對 AI 工作負載帶來的日益增加的複雜性。
作為微軟在 AI 領域深入和持續投資的一部分,微軟正在利用一個 AI 優化的 4K GPU 集群,並將在明年將其擴展到數十萬個全新的 GPU。
微軟表示,該系列虛擬機器使用新的 8 位 FP8 浮點數據類型進行矩陣乘法操作時,速度提升了六倍,比前一代的 FP16 更快。
ND H100 v5 VM 幫助大型語言模型(如 BLOOM 175B 端到端模型),實現了最高兩倍的推理速度提升。
本文為AI新智界授權刊登,原文標題為「微軟 Azure AI 基礎設施進行升級,發佈 ND H100 v5 虛擬機」