“與歷屆亞運(yùn)會相比,杭州亞運(yùn)會很可能是最智能的一屆?!笔莵唺W理事會代理總干事維諾德在接受媒體訪問時的評價。
杭州亞運(yùn)會于10月8日晚正式閉幕。中國隊以201枚金牌創(chuàng)下新紀(jì)錄,相較201枚金牌,杭州亞運(yùn)期間的各類智能應(yīng)用和科技范兒也同樣閃耀。
據(jù)亞運(yùn)會官方數(shù)據(jù),本屆亞運(yùn)會有近20項首推、首創(chuàng)、首用的應(yīng)用和科技,接下來我們將介紹其中最為突出的五個科技應(yīng)用及其背后的技術(shù)細(xì)節(jié)。
一、最“暖”黑科技——智能愛心輔助助手“未名”
杭州亞運(yùn)會舉辦期間,在杭州市的一些亞運(yùn)會志愿者服務(wù)點,有一款機(jī)器人外觀的智能體在為視力障礙人士服務(wù)。
“未名”來自未名湖畔的北京大學(xué)。在北京大學(xué)黃鐵軍教授及仉尚航研究員的指導(dǎo)下,北京大學(xué)莊棨寧學(xué)生團(tuán)隊打造了具身智能機(jī)器人軟件服務(wù)系統(tǒng)“未名”,用于亞運(yùn)會期間的導(dǎo)航指引與幫助服務(wù),還獲得了人民日報的“點名”。
“未名”和以往所有的傳統(tǒng)機(jī)器人不同,它基于莊棨寧學(xué)生團(tuán)隊自研的感知生成一體化多模態(tài)大模型,能夠精準(zhǔn)地感知與理解場館內(nèi)外的視覺場景,生成準(zhǔn)確豐富的語言描述,實現(xiàn)從人類復(fù)雜指令到具體行動的轉(zhuǎn)化,并基于端云協(xié)作大小模型的協(xié)同高效微調(diào),提升模型的泛化性,使其可以快速適應(yīng)新場景。
據(jù)悉,這套系統(tǒng)可以為觀眾提供導(dǎo)覽服務(wù),協(xié)助視障人士進(jìn)行引領(lǐng)和導(dǎo)航,解析視障人士需求并完成相應(yīng)任務(wù),幫助視障人士撿拾掉落的物品等。
二、最“顯眼包”黑科技——撿鐵餅機(jī)器狗
在杭州亞運(yùn)會田徑賽場,幾只來來回回運(yùn)送鐵餅的機(jī)器狗成為賽場“顯眼包”。
這是在亞運(yùn)會上運(yùn)輸鐵餅的“機(jī)器狗”。每只狗的背上都裝有卡槽,可以負(fù)重1-2公斤重的鐵餅,在預(yù)先設(shè)定好的線路上迅速運(yùn)送體育設(shè)備,完成任務(wù)之后,機(jī)器狗們會“趴”在場邊等待指令。此外,個頭較小的機(jī)器人還可以完成前撲、坐下、作揖等動作。
據(jù)了解,機(jī)器狗每次往返的平均距離約120m,按照一場比賽往返60次來計算,相當(dāng)于以往鐵餅比賽中工作人員超過7000m的工作量,有了機(jī)器狗往返運(yùn)輸,就可以大大解放工作人員了。
三、最“私人定制”黑科技——高速運(yùn)動AI?解說系統(tǒng)
亞運(yùn)賽場不僅有機(jī)器狗撿鐵餅,還有AI做賽事解說。
這套由北京大學(xué)棨寧學(xué)生團(tuán)隊打造的高速運(yùn)動AI解說系統(tǒng),通過高速攝像機(jī)的脈沖信號檢測場景物體和運(yùn)動員,將能夠捕捉體育比賽中的關(guān)鍵時刻,并生成高質(zhì)量的集錦和相關(guān)數(shù)據(jù),基于多模態(tài)大模型算法和深度學(xué)習(xí)模型對這些運(yùn)動數(shù)據(jù)進(jìn)行分析,基于分析結(jié)果,系統(tǒng)再生成提供實時的個性化解說服務(wù),從而為各個語種的觀眾都能提供個性化的體驗。
以乒乓球賽事解說生成為例,畫面中兩個人正在打乒乓球,系統(tǒng)可以捕捉和理解運(yùn)動員的3D姿態(tài)、也可以對球的軌跡做分析,并生成精準(zhǔn)描述。
更值得一提的是,這是多模態(tài)大模型技術(shù)首次在國際大型綜合性體育賽事中的落地和嘗試。
四、最“快”黑科技——AI智能剪輯
眾所周知,本屆杭州亞運(yùn)會核心系統(tǒng)實現(xiàn)了100%上云,這意味著同一場比賽,通過云平臺可以生成不同版本,更重要的是,一種全新的視頻剪輯方式也有了實現(xiàn)的可能。
據(jù)了解,亞運(yùn)會媒體中心使用的阿里云AI智能剪輯,可以一鍵自動剪接多角度鏡頭,添加字幕轉(zhuǎn)場等效果。
舉例來說,原本剪輯100米自由泳比賽集錦視頻需要在全景、近景、特寫鏡頭之間來回切,現(xiàn)在只要選中選手就能一鍵生成多軌合一的鏡頭,再根據(jù)背景音樂加入慢動作的特寫鏡頭、校對AI生成的字幕,一條又快又好的視頻就完成了。
五、最正直黑科技——AI裁判
傳統(tǒng)的人類裁判可能會因為視角、視線遮擋或是瞬間的判斷失誤而錯過某些行為,而AI裁判則可以通過多個角度和高幀率的攝像頭實時捕獲細(xì)節(jié),確保決策更加準(zhǔn)確。
據(jù)官方披露,本屆亞運(yùn)會引入了AI裁判評分技術(shù),為比賽提供了更公正、準(zhǔn)確的判罰。
AI裁判系統(tǒng)通過AI紅外追蹤技術(shù),配合自動生成的打分系統(tǒng),為每位選手進(jìn)行打分。AI裁判還會會對選手的各項身體參數(shù)和動作角度進(jìn)行分析,根據(jù)國際標(biāo)準(zhǔn)完成打分,
AI裁判不受情感、壓力或任何外部因素的影響,完全基于事實和預(yù)定規(guī)則進(jìn)行判決,堪稱最“正直”的科技。
期待這些黑科技產(chǎn)品逐漸滲透到普通用戶的生活中,為我們的生活帶來更多便利、效率和可持續(xù)性。
相關(guān)稿件