2月17日，人工智能初創公司月之暗面在其官方微信公眾號分享了其前段時間剛剛發布的Kimi k1.5多模態思考模型誕生的過程。
這款模型與DeepSeek-R1同日發布，但由于后者過于火爆，使得前者的發布消息幾乎被淹沒。在熱潮日漸平靜之際，月之暗面研究員Flood Sung在分享中透露，長思維鏈的有效性其實在一年多前就已經知道了，但為了省錢，他們優先選擇攻關長文本而不是長思維鏈（Long-CoT：Long Chain of Thought）；在去年9月OpenAI o1推出后，月之暗面決定出手長思維鏈。
據月之暗面官方介紹，新推出的k1.5多模態思考模型實現了SOTA（state-of-the-art，指最佳技術或最高水平模型）級別的多模態推理和通用推理能力。在長思維鏈模式下，kimi K1.5的數學、代碼、多模態推理能力，也達到長思考SOTA模型OpenAI o1正式版水平。
“長思維鏈的有效性其實在一年多前就已經知道了，月之暗面Kimi聯合創始人Tim周昕宇很早就驗證過，使用很小的模型，訓練模型做幾十位的加減乘除運算，將細粒度的運算過程合成出來變成很長的思維鏈數據做監督微調（Supervised Fine-Tuning），就可以獲得非常好的效果。我依然記得當時看到那個效果的震撼?！盕lood Sung表示。
Flood Sung稱，他們意識到長上下文的重要性，但優先考慮把文本搞長，對長思維鏈這件事情不夠重視。“主要還是考慮了成本問題”，他表示，長上下文主要做的是長文本輸入，有預填充，有Mooncake（Kimi底層的推理平臺，已逐步開源）加持，成本速度可控，而長思維鏈是長文本輸出，成本高很多，速度也要慢很多。在這種情況下，把輸出搞長就沒有成為一個高優選項。
長思維鏈技術路線是一種基于思維鏈（Chain-of-Thought, CoT）的推理增強技術，旨在通過生成更長的推理鏈來提升大型語言模型（LLM）在復雜推理任務中的性能。與傳統的短推理鏈（Short CoT）相比，長思維鏈能夠處理更復雜的任務，因為它允許模型在生成最終答案之前進行更深入的思考。
OpenAI o1模型驗證了長思維鏈在數學和編碼等推理任務中的有效性。在長思考（long thought）的幫助下，大語言模型（LLM ）傾向于探索、反思和自我改進推理過程，以獲得更準確的答案。
“OpenAI o1發布，震撼，效果爆炸，Long-CoT的有效讓我陷入反思?！?span style="display:none">kjP流量資訊——探索最新科技、每天知道多一點LLSUM.COM
但還有什么比性能更重要呢？Flood Sung認為，成本和速度有摩爾定律加持，可以不斷下降，只要把性能搞上去，剩下的都不是主要問題。“所以，我們得搞長思維鏈，搞o1。”
他還提到在實際訓練的過程中有了重要的發現：模型會隨著訓練提升性能也不斷增加token數，也就是這是RL（強化學習）訓練過程中模型可以自己涌現的，“這個和友商 Deepseek的發現幾乎是一樣的。”
Flood Sung稱，AGI（Artificial General Intelligence，通用人工智能）確實就是近在眼前的事情，如今他重新開始思考ASL（Artificial Super Intelligence，超級人工智能）。對于做強化學習（RL）的人來說，從來都不會把實現AGI作為目標，現在給AI一個可衡量的目標，然后讓AI自己去探索，通過強化學習來提升模型，未來不過是把這一過程不斷地復制到更復雜的場景中去。
（原標題：月之暗面研究員透露：為了省錢，未能更早將“長思維鏈”作為高優選項）
本文鏈接：月之暗面研究員：未能更早將“長思維鏈”作為高優選項http://m.lensthegame.com/show-11-17457-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
上一篇： 超長壽命高效制氫新技術研發成功