相信很多大家對Nvidia 和 Mistral AI 的超精確小語言模型適用于筆記本電腦和 PC還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

8月24日消息:Nvidia 和 Mistral AI 發(fā)布了一款新型的小型語言模型，據(jù)稱該模型在小體積下依然具有「最先進」的準確性。該模型名為 Mistral-NemMo-Minitron 8B，是 NeMo 12B 的迷你版本，參數(shù)量從 120 億縮減到了 80 億。

據(jù) Nvidia 深度學習研究副總裁 Bryan Catanzaro 在博客文章中介紹，這款 80 億參數(shù)的小型語言模型通過兩種不同的 AI 優(yōu)化方法實現(xiàn)了規(guī)?？s減。開發(fā)團隊使用了結(jié)合剪枝和蒸餾的技術?！讣糁νㄟ^去除對準確性貢獻最小的模型權(quán)重來縮小神經(jīng)網(wǎng)絡的規(guī)模。蒸餾過程中，團隊在一個較小的數(shù)據(jù)集上重新訓練了這個經(jīng)過剪枝的模型，從而大幅提高了因剪枝導致的準確性下降。」

這些優(yōu)化使得開發(fā)人員能夠在「原始數(shù)據(jù)集的一小部分」上訓練優(yōu)化后的語言模型，從而在計算成本上節(jié)省高達 40 倍。通常情況下，AI 模型需要在模型規(guī)模和準確性之間進行權(quán)衡，但通過 Nvidia 和 Mistral AI 的新剪枝和蒸餾技術，語言模型可以同時兼顧這兩者。

配備了這些增強功能的 Mistral-NeMo-Minitron 8B 據(jù)稱在九項同類規(guī)模的語言驅(qū)動 AI 基準測試中表現(xiàn)出色。所節(jié)省的計算資源足以讓筆記本電腦和工作站 PC 本地運行 Minitron 8B，使其比云服務更快且更安全。

Nvidia 圍繞消費者級計算硬件設計了 Minitron 8B。該語言模型被封裝為 Nvidia NIM 微服務，并針對低延遲進行了優(yōu)化，以提高響應速度。Nvidia 通過其定制模型服務 AI Foundry，將 Minitron 8B 調(diào)整為能夠在低配置設備（如智能手機）上運行。盡管性能和準確性可能略有下降，但 Nvidia 表示該模型仍然是高準確性的語言模型，并且只需極少的訓練數(shù)據(jù)和計算資源。

剪枝和蒸餾技術似乎是人工智能性能優(yōu)化的下一前沿。理論上，開發(fā)者可以將這些優(yōu)化技術應用于所有現(xiàn)有的語言模型，從而顯著提升整體性能，包括那些只能由 AI 加速服務器群組運行的大型語言模型。

以上就是關于【Nvidia 和 Mistral AI 的超精確小語言模型適用于筆記本電腦和 PC】的相關內(nèi)容，希望對大家有幫助！

　　免責聲明：本文由用戶上傳，與本網(wǎng)站立場無關。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風險自擔。 如有侵權(quán)請聯(lián)系刪除！