1月24日消息，眾所周知，開發(fā)大語(yǔ)言模型（LLM）成本高昂。這不僅包括模型本身的研發(fā)，還有在云端運(yùn)行這些模型的費(fèi)用。以人工智能初創(chuàng)公司Anthropic為例，云端運(yùn)行模型的成本幾乎占了該公司上個(gè)月收入的一半以上，這還未算上訓(xùn)練模型的成本。
然而，最近的技術(shù)進(jìn)步有望降低大語(yǔ)言模型的開發(fā)和運(yùn)行成本。目前尚不清楚這是否足以將大語(yǔ)言模型開發(fā)轉(zhuǎn)變?yōu)楦呃麧?rùn)的軟件業(yè)務(wù)，但它應(yīng)該有助于緩解許多最緊迫的成本問題。
以Writer為例，這家初創(chuàng)公司專門為企業(yè)開發(fā)人工智能工具。該公司聯(lián)合創(chuàng)始人兼首席技術(shù)官瓦西姆·阿爾謝赫（Waseem Alshikh）表示，過去三到四個(gè)月，一些老式人工智能芯片（如英偉達(dá)A100 GPU）的價(jià)格不斷下滑，幫助他們將模型培訓(xùn)成本降低了約60%。此外，英偉達(dá)還優(yōu)化了軟件性能，幫助開發(fā)者在這些芯片上更快地訓(xùn)練和運(yùn)行大型模型。
但與此同時(shí)，隨著云計(jì)算服務(wù)提供商推出更多H100芯片，Writer開始使用更多英偉達(dá)新款芯片來訓(xùn)練大語(yǔ)言模型。阿爾謝赫指出，這些較新的芯片價(jià)格高昂，但在模型訓(xùn)練方面比A100更快。
開發(fā)者還利用各種新的培訓(xùn)技術(shù)和配置來降低成本。像GPT-4這樣的大型語(yǔ)言模型實(shí)際上是由多個(gè)“專家”模型組成的，而非一個(gè)龐大的模型，每個(gè)模型專攻不同主題。這種混合專家系統(tǒng)（Mixture of Experts，簡(jiǎn)稱MoE或ME）的計(jì)算效率更高，因?yàn)椴樵儍H觸發(fā)模型的某些部分，而非整個(gè)模型。
其他技術(shù)，如量化和大語(yǔ)言模型的低階自適應(yīng)，使得訓(xùn)練和調(diào)整模型的成本更低，且對(duì)模型性能影響微乎其微。
大語(yǔ)言模型開發(fā)者還找到了更高效利用硬件的方法。谷歌研究人員估計(jì)，在訓(xùn)練GPT-3時(shí)，OpenAI的GPU大約有80%的時(shí)間處于閑置狀態(tài)，等待數(shù)據(jù)輸入。換句話說，它并未充分利用GPU資源。然而，GPU經(jīng)銷商Together的首席科學(xué)家特里·道（Tri Dao）表示，通過采用名為FlashAttention-2的不同技術(shù)，可將閑置時(shí)間縮短至30%左右。眾多開發(fā)者已開始利用這項(xiàng)技術(shù)，包括法國(guó)人工智能初創(chuàng)公司Mistral。
盡管人工智能開發(fā)人員擁有眾多降低成本的工具，但并不意味著他們會(huì)全都使用。OpenAI、Anthropic等前沿模型的開發(fā)商追求卓越的芯片、人才和數(shù)據(jù)資源，因此他們可能會(huì)暫時(shí)擱置利潤(rùn)率目標(biāo)。
例如，F(xiàn)acebook母公司Meta首席執(zhí)行官馬克·扎克伯格（Mark Zuckerberg）宣布，該公司計(jì)劃在今年年底前獲得3.5萬個(gè)H100 GPU（總成本超過70億美元）。這表明，實(shí)力雄厚的公司正不惜重金購(gòu)買尖端芯片，即便老款GPU價(jià)格更為親民。
此外，我們切勿忽視獲取新數(shù)據(jù)以訓(xùn)練大語(yǔ)言模型的成本。像OpenAI和蘋果等公司從出版商那里獲得內(nèi)容授權(quán)的費(fèi)用看似微不足道，但未來可能會(huì)大幅增長(zhǎng)。盡管大語(yǔ)言模型正逐步生成用于新模型的“合成”訓(xùn)練數(shù)據(jù)，但仍有許多高質(zhì)量信息是它們無法復(fù)制的。（小小）
本文鏈接：ai芯片市場(chǎng)前景「業(yè)內(nèi)：過去數(shù)月老款A(yù)I芯片降價(jià)，大模型培訓(xùn)成本降60%」http://m.lensthegame.com/show-3-7955-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇： 矢量圖標(biāo)設(shè)計(jì)軟件「設(shè)計(jì)提效丨你要的免費(fèi)商用高質(zhì)量矢量圖標(biāo)庫(kù)來啦!」