(取自NVIDIA臉書粉專)
根據NVIDIA官方消息,NVIDIA近日發表 Mistral-NeMo-Minitron 8B 小語言 AI 模型,具備精度高、運算效率高等優點,可在 GPU 加速的數據中心、雲端和工作站上運行模型。
NVIDIA表示通過寬度剪枝(width-pruning)Mistral NeMo 12B,並知識蒸餾(knowledge distillation)輕度重新訓練後獲得 Mistral-NeMo-Minitron 8B,相關成果發表在《Compact Language Models via Pruning and Knowledge Distillation》論文中。
針對其規模而言,Mistral-NeMo-Minitron 8B 在語言模型的九項流行基準測試中遙遙領先,這些基準涵蓋了各種任務,包括語言理解、常識推理、數學推理、總結、編碼和生成真實答案的能力。
本文為品玩授權刊登,原文標題為「英偉達發佈 80 億參數新 AI 模型,可在 RTX 工作站上部署」