作為月之暗面的創(chuàng)始人，楊植麟常把他的AGI夢(mèng)想形容為“登月計(jì)劃”，長(zhǎng)文本就是這個(gè)偉大計(jì)劃的第一步。但現(xiàn)在，隨著Kimi的爆火出圈，賽道瞬間變得擁擠，24小時(shí)內(nèi)，阿里、360、百度緊急“出手”，紛紛入局長(zhǎng)文本賽道。
大廠的加入，讓月之暗面充滿理想化色彩的“登月計(jì)劃”有了更接地氣、更市場(chǎng)化的一面——從千億參數(shù)到千萬(wàn)長(zhǎng)文本，大模型好像又“卷”出了新高度。而一同被“卷”起來(lái)的，還有大模型的商業(yè)化進(jìn)程。
內(nèi)卷長(zhǎng)文本
Kimi像條“鲇魚(yú)”，用200萬(wàn)字無(wú)損上下文激活了整個(gè)國(guó)產(chǎn)大模型市場(chǎng)。3月23日，360智腦宣布正式內(nèi)測(cè)500萬(wàn)字長(zhǎng)文本處理功能，該功能即將入駐360 AI瀏覽器，同時(shí)360 AI瀏覽器App也即將上線。
3月22日晚上，阿里通義千問(wèn)宣布，向所有人免費(fèi)開(kāi)放1000萬(wàn)字的長(zhǎng)文檔處理功能，成為全球文檔處理容量第一的AI應(yīng)用。與此同時(shí)，也有媒體從知情人士處獲悉，百度文心一言下個(gè)月將進(jìn)行版本升級(jí)，屆時(shí)也將開(kāi)放長(zhǎng)文本能力，文字范圍會(huì)在200萬(wàn)—500萬(wàn)。
Kimi是月之暗面推出的一款智能助手。3月18日，月之暗面宣布Kimi智能助手已支持200萬(wàn)字超長(zhǎng)無(wú)損上下文，并于即日起開(kāi)啟產(chǎn)品內(nèi)測(cè)。去年10月剛發(fā)布時(shí)，Kimi可支持的無(wú)損上下文輸入長(zhǎng)度為20萬(wàn)字。3月21日，因過(guò)于火爆，Kimi一度“宕機(jī)”。
天使投資人、資深人工智能專家郭濤對(duì)北京商報(bào)記者分析稱，200萬(wàn)字的長(zhǎng)文本處理能力是一個(gè)巨大的技術(shù)突破，這意味著AI模型可以理解和生成更復(fù)雜、更豐富的內(nèi)容，這對(duì)于許多應(yīng)用場(chǎng)景，如自動(dòng)寫作、內(nèi)容生成、信息檢索等，都具有重要的價(jià)值。
這可能也是Kimi引爆市場(chǎng)的關(guān)鍵。
3月22日，“Kimi概念”進(jìn)入持續(xù)火爆的第四天，不過(guò)資本市場(chǎng)上已出現(xiàn)分化跡象，當(dāng)天收盤，掌閱科技、中廣天擇收獲三連板，因賽集團(tuán)股價(jià)則跌超4%，電廣傳媒跌超3%。
財(cái)經(jīng)評(píng)論員張雪峰對(duì)北京商報(bào)記者提到，這一突破意味著在自然語(yǔ)言處理領(lǐng)域，特別是文本生成和理解方面，Kimi取得了重大進(jìn)展，其主要技術(shù)突破包括長(zhǎng)文本處理能力、上下文理解和訓(xùn)練技術(shù)三個(gè)方面。
以長(zhǎng)文本處理能力為例，Kimi能夠處理長(zhǎng)達(dá)200萬(wàn)字的文本，而且在處理過(guò)程中不會(huì)出現(xiàn)信息丟失或失真的情況。這種能力在以往的自然語(yǔ)言處理模型中很難實(shí)現(xiàn)，因?yàn)殚L(zhǎng)文本的處理需要更大的內(nèi)存和更復(fù)雜的模型結(jié)構(gòu)。
AGI的初心
20萬(wàn)到200萬(wàn)的變化，不止在于字?jǐn)?shù)的簡(jiǎn)單累積，更在于“無(wú)損”和它們共同指向的AGI目標(biāo)。
楊植麟曾解釋稱，通往AGI，無(wú)損的長(zhǎng)上下文將會(huì)是一個(gè)很關(guān)鍵的基礎(chǔ)技術(shù)。從Word2vec到RNN、LSTM，再到Transformer，歷史上所有的模型架構(gòu)演進(jìn)，本質(zhì)上都是在提升有效的、無(wú)損的上下文長(zhǎng)度。
“上下文長(zhǎng)度可能存在摩爾定律，但需要同時(shí)優(yōu)化長(zhǎng)度和無(wú)損壓縮水平兩個(gè)指標(biāo)，才是有意義的規(guī)?；??！睏钪谗胝f(shuō)。
月之暗面曾介紹，從20萬(wàn)字到200萬(wàn)字，由于沒(méi)有采用常規(guī)的漸進(jìn)式提升路線，月之暗面團(tuán)隊(duì)遇到的技術(shù)難度也是指數(shù)級(jí)增加的。
為了達(dá)到更好的長(zhǎng)窗口無(wú)損壓縮性能，月之暗面研發(fā)和技術(shù)團(tuán)隊(duì)從模型預(yù)訓(xùn)練到對(duì)齊、推理環(huán)節(jié)均進(jìn)行了原生的重新設(shè)計(jì)和開(kāi)發(fā)，不走“滑動(dòng)窗口”“降采樣”等技術(shù)捷徑，攻克了很多底層技術(shù)難點(diǎn)。
但字?jǐn)?shù)累積的表象以及大廠相繼亮出同類型產(chǎn)品的情況，也讓“吃瓜群眾”對(duì)于所謂的技術(shù)突破有些疑慮。
在接受北京商報(bào)記者采訪時(shí)，伽利略資本合伙人鄭譞做了一個(gè)類比，對(duì)象就是不久前火爆全球的文生視頻大模型Sora。
鄭譞解釋稱，文生視頻可以看做是連續(xù)的文生圖，從理論層面上，可能并不是顛覆性的突破，但是做到穩(wěn)定生成長(zhǎng)視頻確實(shí)有難度，更多解決的是工程上的問(wèn)題。但也不能說(shuō)工程上的創(chuàng)新就不是創(chuàng)新，月之暗面無(wú)損長(zhǎng)文本可能也是這個(gè)道理。
概括起來(lái)，從底層技術(shù)上來(lái)看，Kimi可能確實(shí)沒(méi)有顛覆性的突破，更像是一個(gè)突破性技術(shù)的前序技術(shù)。
“長(zhǎng)文本技術(shù)上需要解決上下文理解、長(zhǎng)期記憶、復(fù)雜推理、多任務(wù)適應(yīng)性以及計(jì)算效率等問(wèn)題，學(xué)界其實(shí)早就有一些相應(yīng)的解決方案，比如長(zhǎng)文本處理、注意力機(jī)制優(yōu)化等，但是在復(fù)雜推理和計(jì)算效率上工程難度還是很大的，各大廠也都給出了自己的方案，只不過(guò)之前大家并沒(méi)有將‘長(zhǎng)文本’當(dāng)成關(guān)鍵詞給予足夠的關(guān)注度?！编嵶X稱。
郭濤也提到，從目前公開(kāi)資料來(lái)看，Kimi的技術(shù)確實(shí)具有一定的競(jìng)爭(zhēng)優(yōu)勢(shì)，但還不具備技術(shù)壁壘。長(zhǎng)文本可能會(huì)成為大模型的下一個(gè)“卷”的領(lǐng)域，因?yàn)檫@是一個(gè)具有廣泛應(yīng)用前景和商業(yè)價(jià)值的研究方向。
不過(guò)在鄭譞看來(lái)，月之暗面與其他人工智能企業(yè)真正的不同點(diǎn)，并不在于技術(shù)乃至商業(yè)化路線的差異，而在于“初心”的不同。
鄭譞將楊植麟形容為一個(gè)“富有理想主義的創(chuàng)始人”“他的目標(biāo)就是打造自己理想的AGI，而不是從落地或者務(wù)實(shí)的視角去思考當(dāng)下的問(wèn)題”。
商業(yè)化“肉搏”
理想化的月之暗面，也不能完全“脫俗”。Kimi爆火時(shí)，有媒體報(bào)道稱，月之暗面相關(guān)負(fù)責(zé)人提到，年內(nèi)將有商業(yè)化初步方案。對(duì)于具體的商業(yè)化路徑以及大廠競(jìng)相加入是否會(huì)對(duì)Kimi的商業(yè)化產(chǎn)生影響等問(wèn)題，北京商報(bào)記者聯(lián)系了月之暗面，但截至發(fā)稿未收到回復(fù)。
鄭譞猜測(cè)，相較于特定應(yīng)用，Kimi的商業(yè)化可能類似于OpenAI，更傾向于一種通用性的商業(yè)化，例如商業(yè)化的高端接入入口用以擴(kuò)展客戶的應(yīng)用等。
目前已有多家企業(yè)確認(rèn)了與Kimi的合作。例如3月24日，萬(wàn)興科技對(duì)外透露，公司旗下視頻創(chuàng)意軟件萬(wàn)興喵影已率先接入Kimi，其AI寫文案功能當(dāng)前已采用Kimi大模型服務(wù)，萬(wàn)興科技正加速旗下其他產(chǎn)品對(duì)Kimi的對(duì)接測(cè)試。
而對(duì)于大廠紛紛加入長(zhǎng)文本競(jìng)爭(zhēng)的原因，張雪峰認(rèn)為，長(zhǎng)文本處理能力是自然語(yǔ)言處理領(lǐng)域的一個(gè)重要方向，而且隨著信息量的增加，對(duì)長(zhǎng)文本處理能力的需求也越來(lái)越迫切。
張雪峰進(jìn)一步補(bǔ)充稱，Kimi的技術(shù)突破表明長(zhǎng)文本處理已經(jīng)成為可能，因此大廠紛紛投入研發(fā)長(zhǎng)文本處理技術(shù)，以保持競(jìng)爭(zhēng)力和領(lǐng)先地位。另外，長(zhǎng)文本處理也是滿足用戶需求的重要途徑，可以為用戶提供更全面、準(zhǔn)確的信息服務(wù)。
至于大廠的入局，是否會(huì)給月之暗面商業(yè)化造成影響，鄭譞則給出了否定的回答，原因在于“雖然都在講長(zhǎng)文本，但大家的側(cè)重點(diǎn)顯然是千差萬(wàn)別的，而且各家所追求的愿景也有著天壤之別”。
回歸“為什么是Kimi”的問(wèn)題，中信建投研報(bào)提到，月之暗面打造高關(guān)注度應(yīng)用Kimi Chat，一方面在于核心團(tuán)隊(duì)技術(shù)背景深，另一方面在于產(chǎn)品面向C端免費(fèi)開(kāi)放，注重產(chǎn)品運(yùn)營(yíng)。
據(jù)悉，月之暗面目前在招的31個(gè)崗位中，其中6個(gè)為市場(chǎng)、運(yùn)營(yíng)類崗位，包括達(dá)人運(yùn)營(yíng)、國(guó)內(nèi)廣告投放等。“目前招募更多市場(chǎng)、運(yùn)營(yíng)類人才，后續(xù)有望推動(dòng)產(chǎn)品進(jìn)一步破圈?！毖袌?bào)稱。
（來(lái)源：北京商報(bào) 記者：楊月涵）
本文鏈接：Kimi掀起國(guó)產(chǎn)大模型長(zhǎng)文本競(jìng)賽http://m.lensthegame.com/show-2-4134-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任，僅提供存儲(chǔ)服務(wù)。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇： 不用貼膜了！huaweiMate 70系列搭載“玄武鍍膜”：防劃、防反光
下一篇： 庫(kù)克：蘋果頭顯產(chǎn)品年內(nèi)中國(guó)上市！產(chǎn)業(yè)鏈核心供應(yīng)商揭秘