清華大學東門外不遠的搜狐網(wǎng)絡(luò)大廈,曾是搜狗的辦公室,在今年大模型創(chuàng)業(yè)熱潮中,王慧文成立的光年之外就在這里辦公;而原搜狗CEO王小川,則將百川智能的創(chuàng)業(yè)地選在了與其一路之隔的賽爾大廈。站在這里,甚至可以看清對樓窗邊的辦公環(huán)境。
不到一年時間,大模型創(chuàng)業(yè)已經(jīng)幾近紅海。隔著馬路的另一面,光年之外創(chuàng)始人王慧文因健康問題離崗退出,將創(chuàng)立不到半年的公司賣給美團,引起了外界對于創(chuàng)業(yè)者心理健康的關(guān)注。
8月8日下午,在賽爾大廈17層的一間會議室里,當王小川被問及此事以及“大模型創(chuàng)業(yè)壓力大不大”時,他對第一財經(jīng)等媒體說:“我聽說慧文是特別負責任的。他是國內(nèi)幾個主流做大模型里唯一一個沒有強勢的技術(shù)背景的,對他的挑戰(zhàn)比其他家要大。工作中要做大量的技術(shù)決策、招什么人、走什么技術(shù)路線圖、需要多少計算資源……一定會面臨非常多的決策壓力?!?/span>
王小川說,“不是做大模型壓力大,是沒有技術(shù)背景做決策壓力會大很多,但是技術(shù)足夠的話,其實挺愉悅的,我們的進度是在一個快樂的狀態(tài)。”
搜索雖晚,但趕上AI好時候
從今年4月下場殺入大模型到現(xiàn)在,王小川說,比當年搜索引擎時候的成就感更大。
過去,搜狗想從搜索轉(zhuǎn)問答,搜索輸入法想做續(xù)寫,盡管當時搜狗已經(jīng)做了百億的參數(shù)模型,把全身武藝都用上了,但始終不能有效地把搜索變成問答,實現(xiàn)不了今天大模型才能達到的效果。他說,今天有了大模型的加持,在搜索增強方面將大有可為。
而對于加入如火如荼的“百模大戰(zhàn)”,他回應(yīng):確實每個有技術(shù)理想的企業(yè)都想下場去試一下。
ChatGPT火了,有朋友對王小川說,“你特別適合做大模型”,因為這正好需要用到過去搜索、輸入法等相關(guān)的AI能力。他說當時回想了一下,自己干了20年搜索,從來沒人說:“小川,你適合做搜索?!?/span>
當年王小川創(chuàng)立搜狗做搜索,比百度晚了四年,因此在行業(yè)里一直處于跟隨的位置,做創(chuàng)新突破特別難,現(xiàn)在趕上了信息時代走向智能時代,大家站在同一個起跑線上,新的機會來了。
王小川說,其實自己也有壓力,尤其在一開始,要抵制動作走形的地方。比如有投資人說,搜索公司不適合做大模型,因為谷歌也沒干成,做搜索的人可能已經(jīng)“腦子銹了”、思維固化了,再去做大模型可能是個減分項。還有人認為在新公司里有“老搜狗人”的加入,不夠開放,建議他要多招90、95后海歸回來的“小鮮肉”。這些壓力其實不是來自內(nèi)生,而是市場審美理念的不同。
他說,搜索這個模式存在太久了,以至于大家慢慢忘了搜索本身也是AI,且搜索和輸入法本身就是把語言AI用到極致。百川智能技術(shù)聯(lián)合創(chuàng)始人陳煒鵬對記者舉例,做大模型的第一個環(huán)節(jié)是數(shù)據(jù)從哪來,中文互聯(lián)網(wǎng)網(wǎng)頁中的數(shù)據(jù)高達萬億、百億量級,搜狗此前的數(shù)據(jù)積累,能讓他們知道哪里有好的數(shù)據(jù),并且將這些數(shù)據(jù)進行收集、處理、識別,在這一領(lǐng)域,百川智能目前的團隊有較強的技術(shù)積累和方法論。此外從人才來看,搜狗原有團隊有著較強的戰(zhàn)斗力,搜狗原COO茹立云、原CMO洪濤相繼加入進來,以及有更多年輕人才的加入,形成了目前百川智能的人才梯隊。
從4月宣布下場做大模型后,百川智能動作迅速。6月發(fā)布70億參數(shù)開源大模型Baichuan-7B,7月發(fā)布130億參數(shù)開源大模型Baichuan-13B。
這兩款大模型引擎,并沒有立刻商業(yè)化,王小川說首先是填補空白,展現(xiàn)自家的技術(shù)實力,相信伴隨著開源后不斷的技術(shù)迭代,商業(yè)模式水到渠成。他透露,目前有150余家企業(yè)申請使用百川智能大模型。
“誰是最好的大模型”還沒結(jié)論
在發(fā)布兩款開源大模型后,今日王小川發(fā)布了百川智能新模型Baichuan-53B,不同的是,這一次是參數(shù)規(guī)模更大(530億)的閉源大模型。
在王小川的電腦頁面上,向百川大模型提問的對話一幕幕閃過,比如“以古龍的風格寫個朋友圈”、“羅剎海市的歌詞是什么”、“300P算力相當于多少張A100”、“講講卡夫卡的名作《城堡》”等等。他說,這次大模型的文科能力更好,比如在理解古詩、生成有個性化風格的文章等方面。
目前的大模型有以O(shè)penAI GPT-4為代表的閉源大模型和以Meta Llma2為代表的開源大模型兩股力量。后者正在快速地拉攏“朋友圈”,對前者形成有力沖擊。
談到最近熱議的開源與閉源之爭時,王小川說,開源確實容易“建立人品”,“朋友多多的”,讓大家迅速了解和評測;同時開源也是為商業(yè)化做準備,如果大家用起來覺得不錯,當需要更好的服務(wù)和更大的參數(shù)時,可以探索進一步的商業(yè)化路徑。
但是他認為,開源和閉源并不像手機中iOS或者安卓操作系統(tǒng)只能二選一,從tob角度,開源閉源其實都需要。他預計未來80%的企業(yè)會用到開源的大模型,因為閉源沒有辦法對產(chǎn)品做更好的適配,或者成本特別高,閉源可以給剩下的 20%提供服務(wù)。二者不是競爭關(guān)系,而是在不同產(chǎn)品中互補的關(guān)系。
王小川還提到,在6月發(fā)布第二款大模型后第二天就飛去硅谷。第一個收獲是對齊認知,交流技術(shù)思路,到底走開源還是閉源……第二個收獲是美國做技術(shù)很牛,但是應(yīng)用能力可能有短板。
他說,在硅谷和 OpenAI 交流時,他們講理想時滿眼放光,走得非常遠,比如他們現(xiàn)在做 GPT-4 需要 2 萬多張卡做計算,國內(nèi)都沒見過這么大的規(guī)模。對方還很自豪地說正在設(shè)計把 1000 萬顆 GPU 連在一塊做計算模型?!耙烙ミ_一年才生產(chǎn)100萬顆?!倍谠趺慈プ鰬?yīng)用、做產(chǎn)品上,這可能是OpenAI的短板。
這讓王小川意識到,光跟著OpenAI走是不夠的,理想上確實拼不過,但是在落地上,更有底氣了。他說在去硅谷之前自己認為,是“在理想上比OpenAI慢半步,在落地上比OpenAI快半步”。從硅谷回來之后改成了:“在理想上比OpenAI一半步,在落地上快三步。”
而在對比中美大模型時,王小川還提到,美國閉源大模型的頭部格局幾乎已經(jīng)定,比如OpenAI、Anthropic的Claude,Google也拿到門票,已經(jīng)沒有太多懸念,投資人也不會再投。
但中國的情況不一樣,面對轟轟烈烈的“百模大戰(zhàn)”,王小川認為,錢是重要的是,最終決定的力量還是人和團隊、組織能力。大廠錢多、人多、算力多,但組織效率通常不一定夠好,創(chuàng)業(yè)公司的組織效率可能好、也可能不好?!爸袊l做了最好的大模型,還沒有結(jié)論,大家都在爭取機會,而且不一定落在大廠里?!?/span>
相關(guān)稿件