（取自Meta臉書粉專）
根據《機器之心》報導，Meta 已開源專攻程式碼生成的基礎模型 Code Llama，可免費用於研究以及商用目的。
根據研究，Code Llama 的不同版本在 HumanEval 和 MBPP 數據集上的一次生成通過率（pass@1）都超越 GPT-3.5。
此外，Code Llama 的「Unnatural」34B 版本在 HumanEval 數據集上的 pass@1 接近了 GPT-4（62.2% vs67.0%）。
不過 Meta 沒有發表這個版本，但通過一小部分高品質編碼數據的訓練實現了明顯的效果改進。
來自 Phind（一個組織，旨在構造一款為開發人員而生的 AI 搜尋引擎）的研究者向 GPT-4 發起挑戰，該研究用微調的 Code Llama-34B 在 HumanEval 評估中擊敗了 GPT-4。
Phind 聯合創辦人 Michael Royzen 表示：「這只是一個早期實驗，旨在重現（並超越）Meta 論文中的「Unnatural Code Llama」結果。將來，我們將擁有不同 CodeLlama 模型的專家組合，我認為這些模型在現實世界的工作流程中將具有競爭力。」
本文為巴比特授權刊登，原文標題為「研究：使用微調的 Code Llama-34B 在 HumanEval 評估中擊敗了 GPT-4」