3月14日，清華大學(xué)高性能計(jì)算研究所教授翟季冬團(tuán)隊(duì)與清華系科創(chuàng)企業(yè)“清程極智”聯(lián)合宣布，開(kāi)源大模型推理引擎“赤兔Chitu”。據(jù)介紹，該引擎首次實(shí)現(xiàn)在非英偉達(dá)Hopper架構(gòu)GPU及各類(lèi)國(guó)產(chǎn)芯片上原生運(yùn)行FP8精度模型，為國(guó)產(chǎn)AI芯片的廣泛應(yīng)用和生態(tài)建設(shè)掃除了障礙。
當(dāng)前，F(xiàn)P8精度模型長(zhǎng)期依賴(lài)英偉達(dá)H系列高端GPU，這使得國(guó)內(nèi)企業(yè)在部署大模型時(shí)受限于AI芯片的限制。為打破這一困境，清華大學(xué)與清程極智聯(lián)合開(kāi)源的“赤兔”推理引擎通過(guò)底層技術(shù)革新，首次實(shí)現(xiàn)了非H卡設(shè)備（包括英偉達(dá)Hopper架構(gòu)之前的GPU卡及各類(lèi)國(guó)產(chǎn)卡）對(duì)原生FP8模型的高效部署，擺脫對(duì)特定硬件的依賴(lài)，極大地降低了企業(yè)部署AI模型的門(mén)檻和成本。
翟季冬介紹說(shuō)，赤兔凝結(jié)了團(tuán)隊(duì)多年并行計(jì)算與編譯優(yōu)化技術(shù)積累，目標(biāo)是“彌合先進(jìn)模型與多樣化硬件之間的差距，讓國(guó)產(chǎn)算力真正‘跑起來(lái)’”。
“赤兔的定位是成為連接多元算力與大模型應(yīng)用的橋梁。”清程極智CEO湯雄超表示：“我們不僅支持英偉達(dá)全系列GPU，還針對(duì)國(guó)產(chǎn)芯片深度優(yōu)化，未來(lái)將陸續(xù)開(kāi)源適配版本。”
在首期開(kāi)源版本中，赤兔引擎部署DeepSeek-R1-671B滿(mǎn)血版時(shí)（在A800集群的測(cè)試中）相比部分國(guó)外開(kāi)源框架，GPU使用量減少50%的情況下推理速度仍有3.15倍提速。
翟季冬介紹說(shuō)，這意味著企業(yè)可以用更少的硬件資源獲得更高的推理性能，大大降低了部署門(mén)檻和運(yùn)營(yíng)成本。同時(shí)，赤兔引擎的技術(shù)可實(shí)現(xiàn)模型效果不受損。這一成果源于團(tuán)隊(duì)對(duì)GeMM、MoE等核心算子的指令級(jí)優(yōu)化，直接處理FP8數(shù)據(jù)而非簡(jiǎn)單量化，確保模型精度無(wú)損。
目前，赤兔引擎目標(biāo)建立覆蓋從純CPU到大規(guī)模集群的全場(chǎng)景大模型部署需求，適配英偉達(dá)多款GPU及多款國(guó)產(chǎn)芯片。同時(shí)面對(duì)市場(chǎng)上不同的大模型算力優(yōu)化需求，赤兔支持低延遲、高吞吐、小顯存三方面優(yōu)化，用最低成本實(shí)現(xiàn)最高性能。
另?yè)?jù)介紹，清程極智還推出了基于赤兔的“推理一體機(jī)”，提供開(kāi)箱即用部署方案及專(zhuān)業(yè)運(yùn)維服務(wù)，進(jìn)一步簡(jiǎn)化企業(yè)AI落地流程。 湯雄超表示，當(dāng)前國(guó)內(nèi)在推理引擎這一核心環(huán)節(jié)，仍缺乏生產(chǎn)級(jí)開(kāi)源產(chǎn)品，而開(kāi)源“赤兔”引擎是助力國(guó)內(nèi)AI生態(tài)建設(shè)的重要一步。
為加速生態(tài)建設(shè)，赤兔團(tuán)隊(duì)與多家國(guó)產(chǎn)芯片廠商展開(kāi)合作，開(kāi)放代碼貢獻(xiàn)通道，縮短硬件適配周期。“開(kāi)源不僅是技術(shù)共享，更是為國(guó)產(chǎn)芯片‘搶時(shí)間’，當(dāng)新模型或數(shù)據(jù)類(lèi)型出現(xiàn)時(shí)，赤兔能助力國(guó)產(chǎn)芯片跟上國(guó)際節(jié)奏，縮小與國(guó)際先進(jìn)芯片之間的‘時(shí)間差’。”湯雄超表示，隨著“赤兔”引擎的開(kāi)源，“國(guó)產(chǎn)大模型+國(guó)產(chǎn)引擎+國(guó)產(chǎn)芯片”技術(shù)閉環(huán)正在加速成型，中國(guó)大模型產(chǎn)業(yè)從技術(shù)到生態(tài)的全面突破“已按下加速鍵”。
本文鏈接：讓國(guó)產(chǎn)算力跑起來(lái)！大模型推理引擎“赤兔”開(kāi)源http://m.lensthegame.com/show-11-18640-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。