極具設(shè)計感的休閑裝，扎起的長發(fā)，帶著金鏈的細(xì)邊眼鏡，讓多數(shù)人在第一次見到圖拉古時，都感覺他不像人工智能領(lǐng)域的技術(shù)專家，反而有一身的“藝術(shù)范兒”。

　　圈里的朋友和同事，仍會叫他“圖導(dǎo)”，他身上也還保留著深深的導(dǎo)演氣質(zhì)。但近些年他卻頻繁現(xiàn)身技術(shù)圈，以主講嘉賓身份受邀參加各種國家級的技術(shù)交流研討會。即便是出席北京國際電影節(jié)、上海電影節(jié)、重慶電影科技周等場合，或以專家身份在清華大學(xué)、北京電影學(xué)院講課，談的也不再是電影創(chuàng)作，而全是關(guān)于下一代視聽技術(shù)的未來。

　　在6月22日華為舉辦的一年一度HDC 2024大會上，圖拉古分享了《視頻聲效大模型催生空間智能》的主題演講。作為在國內(nèi)首個推出AI感知視聽大模型的創(chuàng)始人，此次他分享的AI大模型發(fā)展路徑備受關(guān)注，因為——

　　我們對AI“智能”的定義，變了!

　　當(dāng)AI進(jìn)化出類人“大腦”，走入“聯(lián)級神經(jīng)元”框架

　　盡管2016年時，人工智能已經(jīng)在世界圍棋方面下贏了人類，但我們?nèi)匀灰f，AI的智能訓(xùn)練還在早期，尤其是在對世界的感知能力方面幾乎為零。

　　人們能夠看到色彩斑斕的蝴蝶、遙遠(yuǎn)的天空，或是聽到夏夜的蛙叫蟲鳴，看到起伏的麥浪就知道風(fēng)正在吹過……這一切，其實對AI來說都毫無意義。

　　現(xiàn)在人們大談特談的人工智能，尤其是火爆資本圈的AI大模型，基本沒有脫離AIGC的范疇。

　　AI生成式內(nèi)容，本質(zhì)上來說還是對原有數(shù)據(jù)的打亂與再重組，然后訓(xùn)練AI以人類習(xí)慣的結(jié)果呈現(xiàn)。

　　比如語言大模型，就是按照人的語言習(xí)慣進(jìn)行對話;AI生成圖片，就是把物體A與物體B再組合，比如機(jī)器外觀的蜘蛛，或是戴帽子的狗等;AI生成視頻，同樣也是把原有視頻素材改頭換面出現(xiàn)。而現(xiàn)在這些，卻被看成了是AI的創(chuàng)意與智慧。

　　但這種AI創(chuàng)首先是不穩(wěn)定、不可控的，其次很多場景和人物，是很難通過文字描述而準(zhǔn)確生成的，即使加再多的提示詞，文字也難以代替畫面。例如，當(dāng)你想要一段70年代的中國街景視頻時，就會因為缺乏基礎(chǔ)的視頻素材數(shù)據(jù)，而難以輸出你想要的結(jié)果。

　　所以，AI的這種創(chuàng)造力，不是真正的創(chuàng)造力，可以說是數(shù)據(jù)素材的積累與再組合。

　　圖拉古就是那個愛給AI產(chǎn)業(yè)潑冷水的“吹哨人”，他在很多公開場合曾提出過自己的質(zhì)疑。在他看來，AI的時代一定會到來，而且進(jìn)化的速度會超過人們的想象。但是，現(xiàn)在大多數(shù)湊熱鬧的AI通用大模型，會在5年后死掉90%。

　　此次HDC 2024大會上，他提出了一種他的的AI理論：AI感知視聽(人工智能視覺聽覺)技術(shù)和全新改進(jìn)的moe框架，稱之為“聯(lián)級神經(jīng)元”框架，正是模擬人類的大腦多區(qū)域總決策行為。

　　AI感知視聽就是要讓人工智能具有與人類相似的視覺、聽覺感受，再通過聯(lián)級神經(jīng)元框架，像人的“大腦”中樞系統(tǒng)一樣，將這些AI能力聯(lián)接起來，實現(xiàn)對世界的記憶力、理解力、分析力。

　　圖拉古提出，moe最早是在 1991 年的論文中，那時候還是網(wǎng)絡(luò)使用的一種方式，而在 AI 時代，它應(yīng)該是一種類腦框架，需要把每一個專業(yè)的垂直 AI 模型作為一個神經(jīng)元看待，這就像大腦一樣，有負(fù)責(zé)語言的區(qū)域，有負(fù)責(zé)音樂的區(qū)域，有負(fù)責(zé)行動的區(qū)域，有負(fù)責(zé)平衡的區(qū)域，他們雖然都在一個頭顱內(nèi)，可是各自卻是獨立的，靠生物電通訊。

　　圖拉古提出的AI新理論，實際上是把AI的各項能力“化整為零”，再形成統(tǒng)一的認(rèn)知，這樣不僅能耗更低，而且可以訓(xùn)練的更精細(xì)。比如實現(xiàn)計算機(jī)的視覺分析能力，就可以只通過一臺普通攝影機(jī)和普通的消費顯卡完成，而不再需要巨量的算力支撐。

　　圖拉古表示，不要試圖訓(xùn)練一個AI大模型，讓它學(xué)會所有，就像家長不要奢望自己的孩子十項全能一樣，你既要求他懂微積分，又要求他會拉小提琴，還要他會琴棋書畫，精通武藝拳腳。

　　圖拉古和他的團(tuán)隊已經(jīng)在AI感知視聽大模型中證實了這一理論的可行性。天圖萬境已經(jīng)擁有了全亞洲最大的電影級視聽數(shù)據(jù)集和分割數(shù)據(jù)集，并正在與華為相關(guān)部門合作進(jìn)行 AI 模型的專業(yè)訓(xùn)練。此次HDC 2024大會上，天圖萬境與華為云攜手推出了“視頻聲效大模型”解決方案，正在向這一全新設(shè)計的“聯(lián)級神經(jīng)元”類腦框架的更前端展開探索。

　　從電影領(lǐng)域到AI模型，跨行業(yè)復(fù)合思維在這個新時代十分重要

　　圖拉古的AI技術(shù)探索之路，始于拍電影。他應(yīng)該算是電影導(dǎo)演中最懂計算機(jī)的，計算機(jī)里最懂視聽語言的。

　　開始，他是在拍攝科幻電影時，發(fā)現(xiàn)為什么所有好的視聽制作的技術(shù)、設(shè)備，軟件、硬件都被國外廠商所壟斷，這激起了他自主研發(fā)的想法。

　　當(dāng)蘋果掉到牛頓頭上時，很多歷史性的轉(zhuǎn)折時刻就這么發(fā)生了。

　　圖拉古和他的團(tuán)隊開始是AI研發(fā)之路。例如AI圖像分割，這個模型最早就是應(yīng)用在電影摳像里。但是直到今天，人們才知道，原來天圖萬境的AI智能實時摳綠，并不是真正的摳綠。他們的摳像技術(shù)實際上是在訓(xùn)練AI 認(rèn)識世界，讓機(jī)器知道畫面里的物體是什么，并理解在設(shè)定情景下什么物體應(yīng)該保留或者去掉，甚至還可以執(zhí)行其他特定的決策。

　　人類看到的世界是立體的，而數(shù)字世界中的圖像、視頻是平面的。當(dāng)然，現(xiàn)在借助一些MR頭顯設(shè)備、AR設(shè)備，人們可以穿梭到立體世界中看到三維的視頻，但普通攝影機(jī)的拍攝還做不到這樣的效果。人們會用激光雷達(dá)來測量立體世界，或是用多目組成類人左右眼的形式，計算視差，獲得立體世界。

　　可是我們知道，人類閉上一只眼睛的時候，也可以準(zhǔn)確的拿到面前的水杯，也可以知道自己距離物體的距離，甚至一些電影里還描繪了獨眼俠客的特異功能。人腦具有自己的經(jīng)驗記憶推理能力，可以在單眼下獲得準(zhǔn)確穩(wěn)定的深度，而我們的機(jī)器正是需要這樣的能力。天圖萬境先后推出空間計算框架的多次升級的版本，實現(xiàn)了通過單目攝像頭實時獲取穩(wěn)定的空間感知圖，實現(xiàn)了世界首個空間計算AI。

　　這些技術(shù)剛出現(xiàn)時，多數(shù)人還不能理解什么是空間計算，什么是AI感知，所以在過去的日子里，人們以為天圖萬境是一家電影技術(shù)公司。因為他們研發(fā)的AI感知視聽技術(shù)，最早應(yīng)用在電影領(lǐng)域并取得了成功。但是，當(dāng)AI技術(shù)逐漸走進(jìn)大眾視野，天圖萬境的AI感知視聽大模型，才被更多人理解。原來，他們的摳綠不是摳綠，是在分割畫面;他們的還原不是還原，而是在計算空間;他們的音頻也不只是音頻，而是讓 AI理解世界。

　　圖拉古經(jīng)常說自己是“帽子收集大師”，因為在人工智能領(lǐng)域的超前探索，讓他獲得了很多社會榮譽。但他最喜歡的，還是“科技工作者”這個頭銜。作為跨電影、光學(xué)、集成電路、計算機(jī)語言與圖形學(xué)等復(fù)合型專家，圖拉古不僅是“超級電影工業(yè)”發(fā)起者和開拓者，也是虛擬制作體系的引領(lǐng)者，更是開創(chuàng)AI視聽大模型先河的人。目前，該技術(shù)不僅在國內(nèi)領(lǐng)先，在國際上也沒有相關(guān)理論和技術(shù)出現(xiàn)，圖拉古也成為了中國AI感知視聽領(lǐng)域的“大神級”人物。

　　圖拉古曾說過：“一個偉大的時代，在一種良性循環(huán)中，徐徐展開;人類、AI、機(jī)器和諧相處，互幫互助的美好愿景，正在向我們闊步走來”。 那么，就讓我們迎接這個美好的AI時代吧。