（取自NVIDIA臉書粉專）
根據《 IT 之家》 11 月 16 日報導，NVIDIA 在今天 Ignite 2023 大會上，宣布更新 TensorRT-LLM，添加 OpenAI 的 Chat API 支持，並增強 DirectML 功能，改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。
TensorRT-LLM 可以通過 NVIDIA 的 AI Workbench 在本地完成，開發者可以使用這個統一、易用的工具包，在 PC 或工作站上快速創建、測試和訂製預訓練的生成式 AI 模型和 LLM。
NVIDIA將於本月晚些時候發布 TensorRT-LLM 0.6.0 版本更新，推理性能提高 5 倍，並支援 Mistral 7B 和 Nemotron-3 8B 等其它主流 LLM。
本文為AI新智界授權刊登，原文標題為「英偉達預告新版 TensorRT-LLM：推理能力飆升 5 倍，支持 OpenAI 的 Chat API」