根據 huggingface 頁面顯示，NVIDIA官方推出一款小語言模型Minitron，包含4B和8B兩個參數版本。
據悉，Minitron在保持相當性能水準的同時，將模型大小縮小了 2-4 倍。具體來說，使用這種方法，從 15B 模型衍生出的 8B 和 4B 模型所需的訓練代幣比從頭開始訓練少 40 倍，這使得訓練整個模型系列（15B、8B 和 4B）的運算成本節省了 1.8 倍。
Minitron 模型系列現在已經在 Huggingface 上，開源供公眾使用。
本文為品玩授權刊登，原文標題為「英偉達發佈小模型 Minitron，模型訓練速度提高40倍」