Databricks推出開源大模型DBRX ，參數規模達1320億

Databricks 近日宣布推出開源 AI 模型 DBRX，聲稱是迄今為止全球最強大的開源大型語言模型。

DBRX 採用 transformer 架構，包含 1320 億參數，共 16 個專家網絡組成，每次推理使用其中的 4 個專家網路，激活 360 億參數。

Databricks 在公司部落格文章中介紹，在語言理解、編程、數學和邏輯方面，對比 Meta 公司的 Llama 2-70B、法國 MixtralAI 公司的 Mixtral 以及馬斯克旗下 xAI 開發的 Grok-1 等主流開源模型，DBRX 均優勢勝出。