根據 marktechpost 的報導，輝達和德州大學奧斯汀分校的研究人員推出了新型靈活模型架構和訓練後最佳化框架 FLEXTRON。

FLEXTRON 旨在支援適應性模型部署，無需額外的微調，從而解決傳統方法效率低下的問題。該架構採用嵌套彈性結構，可在推論過程中根據特定的延遲和準確度目標進行動態調整。這種適應性使在各種部署場景中使用單一預先訓練好的模型成為可能，從而大幅減少了對多個模型變體的需求。

FLEXTRON 透過樣本效率高的訓練方法和先進的路由演算法，將預先訓練好的 LLM 轉變為彈性模型。轉換過程包括對網路元件進行排序和分組，以及訓練路由器，根據使用者定義的限制條件（如延遲和準確性）管理子網路選擇。這種創新方法使模型能夠在推論過程中自動選擇最佳子網路，確保在不同運算環境下都能實現高效、準確的效能。

本文為品玩授權刊登，原文標題為「英偉達發佈 AI 框架 Flextron，支持靈活 AI 模型部署」