DeepMind:大型語言模型可實現「高效無損壓縮音訊影像」,有望運用於相關軟體中
Yangz / 何渝婷編譯
2023-09-28 09:23

(取自DeepMind X)

根據《 IT 之家》 9 月 27 日消息,DeepMind 研究人員日前評估大型語言模型(LLM)的壓縮能力時,發現這些模型的「壓縮能力」相當驚人,除了常規文字資料外,還可以壓縮圖像音訊,相關內容已經發布在 ArXiv 上。

據悉,DeepMind 在研究中,使用了一個名為「Chinchilla 70B」的模型,雖然這個模型主要使用文字訓練,但是研究人員發現該模型也可用於壓縮 ImageNet 圖片,可將文件壓縮至原始大小的 43.3%,甚至可將 LibriSpeech 語音樣本壓縮至原始的 16.4%。

DeepMind 的研究證明,模型的「預測」能力和「壓縮」能力之間存在「等價性」,因此研究人員可以使用任何壓縮算法,建立一個更加強大的條件生成模型。

研究還發現,若要將模型用於壓縮上,模型並非越大越好,過大的模型可能反而對壓縮能力產生負面影響。

本文為巴比特授權刊登,原文標題為「DeepMind:大型語言模型可實現「高效無損壓縮音頻影像」,有望運用於相關軟件中