通信世界網消息（CWW）英特爾豐富的AI產品——面向數據中心的至強處理器，邊緣處理器及AI PC等產品為開發者提供最新的優化，助力其運行Meta新一代大語言模型Meta Llama 3。
Meta今日推出其下一代大語言模型（LLM）——Meta Llama 3。在發布的第一時間，英特爾即優化并驗證了80億和700億參數的Llama 3模型能夠在英特爾??至強??處理器、英特爾??Gaudi加速器、英特爾??酷睿? Ultra處理器和英特爾銳炫? 顯卡的AI產品組合上運行。
英特爾副總裁兼人工智能軟件工程總經理李煒表示：“英特爾一直積極與AI軟件生態系統的領先企業展開合作，致力于提供兼具性能與易用性的解決方案。Meta Llama 3是AI大語言模型重要迭代的新一浪潮。作為AI軟硬件產品技術創新的引領者，英特爾很開心能夠與Meta合作，充分挖掘諸如Llama 3等模型的潛力，助力生態伙伴開發領先的AI應用。”
重要意義：秉承推動AI無處不在的愿景，英特爾持續深耕軟件和AI生態，以確保其產品能夠滿足AI領域持續變化的創新需求。在數據中心，集成英特爾?高級矩陣擴展加速引擎（Intel??AMX）的英特爾至強處理器和英特爾Gaudi能夠為滿足客戶不斷變化、多元化的需求提供更多選擇。
英特爾酷睿Ultra處理器和英特爾銳炫顯卡不僅為開發者提供了本地開發工具，也為在數百萬臺設備上進行部署提供全面的軟件框架和工具支持。其中，包括PyTorch和用于本地研發的英特爾??PyTorch擴展包，以及用于模型開發和推理的OpenVINO?工具包等。
在英特爾產品上運行Llama 3：英特爾初步測試和評估80億和700億參數的Llama 3模型在自身產品上的性能時，使用了包括PyTorch、DeepSpeed、英特爾Optimum Habana庫和英特爾PyTorch擴展包在內的開源軟件，并提供最新的軟件優化。有關更多性能細節，請訪問英特爾開發者博客。
·?英特爾至強處理器能夠運行嚴苛的端到端AI工作負載，同時為了降低延遲，英特爾也通過技術創新來優化大語言模型的推理性能。配備性能核的英特爾??至強??6處理器（代號Granite Rapids）在運行80億參數的Llama 3模型推理時，延遲比第四代英特爾??至強??處理器表現出兩倍的提升，并且能夠以低于100毫秒的token延遲運行700億參數的Llama 3模型推理。
·?英特爾??Gaudi 2加速器在70億、130億和700億參數的Llama 2模型上具備優化的性能，現在其基于全新的Llama 3模型也有了初步性能測試。隨著英特爾Gaudi軟件的更新，英特爾能夠輕松運行新的Llama 3模型，并為推理和微調生成結果。近期發布的英特爾??Gaudi 3加速器也支持運行Llama 3。
·?英特爾酷睿Ultra和英特爾銳炫顯卡在運行Llama 3時亦展現出卓越的性能。在初步測試中，英特爾酷睿Ultra處理器已經展現出遠高于人類通常閱讀速度的輸出生成性能。此外，英特爾銳炫? A770 顯卡具備Xe內核中的全新矩陣引擎（Xe Matrix eXtensions，XMX）AI加速和16GB顯存，進一步為大語言模型工作負載提供卓越性能。
未來，Meta將增加新的能力、更多模型尺寸以及增強的性能。英特爾也將持續提升自身AI產品性能，以支持這一全新的大語言模型。
本文鏈接：英特爾至強處理器系列介紹「英特爾至強和AI PC等產品為Meta Llama 3生成式AI工作負載提供加速」http://m.lensthegame.com/show-3-17591-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。