一位院士眼中的AI觀察

　　2024年1月9日-11日，“2024創(chuàng)投大會”在西安舉辦。本屆大會以“向?qū)?middot; 向新 · 向強(qiáng)”為主題，邀請?jiān)菏繉＜摇⑼顿Y機(jī)構(gòu)、產(chǎn)業(yè)企業(yè)從宏觀趨勢、產(chǎn)業(yè)投資、企業(yè)發(fā)展等多個角度呈現(xiàn)一場思想饕餮盛宴。

　　會上，中國工程院外籍院士，德國工程院院士，德國漢堡科學(xué)院院士 張建偉發(fā)表主題演講《通向魯棒自主系統(tǒng)的多模態(tài)AI之路》

　　以下為演講實(shí)錄，

　　經(jīng)投資界（ID:pedaily2012）編輯：

　　非常高興從德國漢堡來到古都西安，從絲綢之路的終點(diǎn)回到絲綢之路的起點(diǎn)，在新年伊始之際探討未來，感到非常興奮。

　　我報(bào)告的題目是魯棒自主系統(tǒng)，近期我們實(shí)現(xiàn)的大的產(chǎn)業(yè)就是智能駕駛，未來在中長期的產(chǎn)業(yè)，我講是未來的個人服務(wù)，機(jī)器人是他們的魯棒自主性，他們的可靠性，他們在長期負(fù)責(zé)的，非結(jié)構(gòu)下環(huán)境的自主性，是我們未來用多模態(tài)人工智能解決的目標(biāo)之一。

　　現(xiàn)在，國際上科學(xué)家和企業(yè)家的融合也越來越深，Nurture發(fā)了一篇說科學(xué)家正在把科學(xué)的成果向工業(yè)化轉(zhuǎn)移，全世界把這種基礎(chǔ)的研究和我們未來的產(chǎn)業(yè)進(jìn)行深度的結(jié)合，也是一個國際的趨勢。

　　跟大家分享一下物聯(lián)網(wǎng)時代的機(jī)器人具身智能的挑戰(zhàn)，剛才克強(qiáng)院士也提到了工業(yè)4.0，在十年前德國的國家工程院提出了工業(yè)4.0的概念，就是希望用我們未來的人工智能網(wǎng)絡(luò)、云的技術(shù)，提升傳統(tǒng)的制造業(yè)，今天在全世界各個角落和學(xué)術(shù)界，和工業(yè)界，工業(yè)4.0已經(jīng)起到了一定的影響。

　　在今天創(chuàng)新創(chuàng)業(yè)是處在一個IOT重要的物聯(lián)網(wǎng)時代，在我們經(jīng)歷了服務(wù)和數(shù)據(jù)物聯(lián)網(wǎng)給我們前20年帶來的產(chǎn)業(yè)巨大發(fā)展之后，未來的基于物聯(lián)網(wǎng)的這種硬科技，是我們投資和創(chuàng)業(yè)的重點(diǎn)。

　　未來的高新技術(shù)可以產(chǎn)生這種融合性的，顛覆性創(chuàng)新，但是它需要我們現(xiàn)在在人工智能、IOT、機(jī)器人、材料、能源、VR、AR，甚至通訊、腦科學(xué)這一方面的深度的融合。在這一方面，我想西安都具有著非常好的科研和創(chuàng)業(yè)的基礎(chǔ)。

　　應(yīng)用的垂直領(lǐng)域也是我們?yōu)榧夹g(shù)驅(qū)動提供價值重要的實(shí)驗(yàn)場所，從智能制造的工業(yè)4.0到未來的出行，未來的健康、農(nóng)業(yè)、家庭服務(wù)、教育等，都提供了未來人工智能、物聯(lián)網(wǎng)和機(jī)器人重要的應(yīng)用場景。

　　從傳統(tǒng)的現(xiàn)在使用的手機(jī)、可穿戴，為視覺和聽覺進(jìn)行連接人通訊的工具，到未來的智能汽車，加上移動的功能。中長期我們把操作的功能，把智能的功能進(jìn)行新的提高，我們說從信息通訊到現(xiàn)在的ChatGPT非具身的智能，到未來的智能汽車，智能機(jī)器人的具身智能，為我們提供了非常廣泛的應(yīng)用場景，從信息世界的交互，實(shí)現(xiàn)物理世界的交互。

　　在現(xiàn)在的手機(jī)之后，我們現(xiàn)在正在討論代替手機(jī)的下一個形態(tài)是演進(jìn)，還是一種移動的設(shè)備，最終的終極形態(tài)是個性化，個人的機(jī)器人。在ICT通訊和網(wǎng)絡(luò)技術(shù)之后，下一個是智能化給我們帶來人口紅利，流量紅利過去之后真正的智能紅利和機(jī)器人紅利到來的時刻，在這個時刻我們可以在投資界發(fā)現(xiàn)非常多令人興奮的投資標(biāo)的，包括智能機(jī)器人、AIGC、WEB3.0、智能家居和智能存儲等。

　　在疫情期間，我們也在西安組織了世界最大的智能機(jī)器人和自動化的旗艦會議，遺憾的是因?yàn)橐咔�，只是在西安進(jìn)行了小范圍的中國參會者的形式。在機(jī)器人界，我們在宴會之前是展現(xiàn)了各種各樣的機(jī)器人的場景，從移動的車到未來移動的飛行機(jī)器人，水下移動的機(jī)器人。20年前我讓德國的博士生畫的幾幅漫畫，讓它展現(xiàn)出20年后機(jī)器人的場景，今天我們通過歐盟一些基礎(chǔ)研發(fā)項(xiàng)目，我們已經(jīng)做出了部分的移動操作的漢堡圖書館，進(jìn)行物理服務(wù)的場景。

　　通過現(xiàn)在的這種開源軟件、硬件，我們現(xiàn)在可以達(dá)到和歐美科研整個的同步，機(jī)器人的操作系統(tǒng)也是我前十年通過一些我們的論文，通過我們對未來的這種開源操作系統(tǒng)的貢獻(xiàn)，也是協(xié)調(diào)全球的研發(fā)能力，來共享未來的機(jī)器人落地，智能系統(tǒng)落地機(jī)器人這些新的應(yīng)用。

　　如何實(shí)現(xiàn)0到1，1到10，10到100整個全鏈條，技術(shù)成熟度從整個智能應(yīng)用，我用一張圖來部分表達(dá)我們在這一方面的一些實(shí)踐。從基礎(chǔ)研究的技術(shù)成熟度到3，到4的研究，我們通過國家的縱向項(xiàng)目來進(jìn)行包括跨模態(tài)學(xué)習(xí)，包括深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的研究，在中間這一層技術(shù)成熟度從5到8的階段，我們用一些共享的，包括機(jī)器人操作系統(tǒng)的模塊來打造這些關(guān)鍵的技術(shù)模塊，通過我們的投資，通過我們的孵化，在上層進(jìn)行傳統(tǒng)行業(yè)的提質(zhì)增效和一些創(chuàng)新創(chuàng)業(yè)新的行為，包括我們未來的人才培養(yǎng)等，使得我們和傳統(tǒng)行業(yè)的這種垂直的結(jié)合，在制造、出行、健康方面，創(chuàng)造新的價值，孵化新的公司。

　　在這一方面，我想我們在大學(xué)進(jìn)行的一些前沿的研究，20年前我做助理教授的時候，我就做了一款雙臂協(xié)作的裝配機(jī)器人，當(dāng)時是全世界第一個用智能的形式，多模態(tài)交互的形式做玩具飛機(jī)的裝配，當(dāng)時是一個無人區(qū)，今天我們在自動化方面，從單臂的裝配到未來的雙臂的這種場景，已經(jīng)變成了一個重要的領(lǐng)域。

　　我們也把協(xié)作機(jī)器人現(xiàn)在變成了一種創(chuàng)業(yè)的重要基地，機(jī)器人也是這一方面的獨(dú)角獸，在力控臂方面在全世界已經(jīng)做出了最好的性能，現(xiàn)在在富士康的蘋果工廠有上千的應(yīng)用，未來會有更多新的應(yīng)用。現(xiàn)在中國自動化的工廠程度已經(jīng)提高了非常多，但是我們現(xiàn)在還能看到很多工廠還雇幾千，幾萬人，甚至在鄭州的工廠有幾十萬人，70%的工作都是用手的精巧在操作，現(xiàn)在還不能自動化操作，我們在從事著用所謂的多模態(tài)機(jī)器人，加上視覺、聽覺和觸覺，來進(jìn)行機(jī)器人的靈巧裝配，把這一部分的自動化的難點(diǎn)領(lǐng)域，在進(jìn)行新的替代，用新的AI多模態(tài)的技術(shù)。

　　也是在20年前，我們就做出了這一款移動操作的實(shí)驗(yàn)室自動化機(jī)器人，這一款機(jī)器人在拜耳制藥廠的實(shí)驗(yàn)室今天還在使用，我們把視聽、聽覺和觸覺都裝在機(jī)器人的身上，在機(jī)器人實(shí)驗(yàn)室的場景來進(jìn)行試管的移動操作。未來在工廠的自動化之后，制藥的自動化和整個生物系統(tǒng)的自動化，現(xiàn)在對機(jī)器人的要求也是提得越來越高，越來越深，未來對機(jī)器人的系統(tǒng)大有應(yīng)用之地。

　　服務(wù)家庭的機(jī)器人，是我們每個人都希望要的產(chǎn)品，我們能不能享用未來家庭服務(wù)的機(jī)器人，來照顧我們的父母，未來照顧我們自己，使得我們獨(dú)立的有尊嚴(yán)的生活，我們在歐盟的項(xiàng)目支持下，也做出了這一款室內(nèi)室外聯(lián)合的這種服務(wù)的機(jī)器人，為助殘的場景做一些基礎(chǔ)實(shí)驗(yàn)。我們在多模態(tài)的情況下，在視覺和聽覺的傳感和處理都比較發(fā)達(dá)的情況下，我們現(xiàn)在研究各種各樣的柔性皮膚的傳感器，包括可伸拉的穿戴傳感器，把具身智能從視覺、聽覺到觸覺的模態(tài)整個打通，來進(jìn)行產(chǎn)業(yè)化。

　　在3D的相機(jī)方面，我15年前寫的結(jié)構(gòu)按光的這些論文，現(xiàn)在已經(jīng)被公司們做成公司們做成創(chuàng)業(yè)的一個非常好的點(diǎn)，Mind作為另外一家智能機(jī)器人的獨(dú)角獸，現(xiàn)在是3D點(diǎn)云相機(jī)國際上的領(lǐng)軍企業(yè)，已經(jīng)在30多個國家得到銷售，在智能物流和加工方面已經(jīng)正在起到非常重要的3D感知的作用。

　　未來的制造和全流程的工業(yè)4.0這種全生命周期的智能化，也是一個非常重要的方面。未來的智能駕駛現(xiàn)在對能源和電池的處理方面，也有新的需求�？赡苓@兩年已經(jīng)是我們第一批動力電池開始報(bào)廢的時候，現(xiàn)在歐盟和美國都對新能源汽車的本地銷售，提出了要本地化處理動力電池和汽車的要求，這些方面自動化和機(jī)器人的需求，我們現(xiàn)在正在布局，把未來電動汽車的拆解和能源電池的拆解，來進(jìn)行無人化的自動化方案。

　　在自主系統(tǒng)的核心技術(shù)方面，克強(qiáng)老師講了從單個車到網(wǎng)聯(lián)車，到云和車的服務(wù)方面，非常好的一個總攬。在單車的服務(wù)方面，我們把人工智能的多傳感的技術(shù)進(jìn)行融合，也是大大提高它們在夜間，在雪地，在極端天氣下整個的魯棒性。包括在夜間的識別、規(guī)劃和感知的例子。

　　最近斯坦福大學(xué)又放出了一些失敗的視頻，我們物理世界的具身智能實(shí)際上面臨著非常高的挑戰(zhàn)，在感知方面，在交互方面，在操作方面，對環(huán)境的價值和操作都有著極高的要求，現(xiàn)在個人機(jī)器人還沒有達(dá)到現(xiàn)在汽車整個的產(chǎn)量，我們看到的只是家庭簡單的吸塵機(jī)器人，我們只是看到了小的物流配送，量還非常小。未來包括城市的全自動的駕駛，包括工廠帶有手的多模態(tài)自動化，個人助力和家庭服務(wù)機(jī)器人，建筑機(jī)器人等，都給我們未來的20、30年都提出了重大的挑戰(zhàn)。

　　人工智能最近給我們帶來了新的賦能機(jī)會，從四個方面再回顧一下，給我們帶來賦能的機(jī)會。第一個是算力的增長，這種指數(shù)型算力的增長，是一個非常獨(dú)特的現(xiàn)象，和我30多年前在清華學(xué)計(jì)算機(jī)相比，計(jì)算能力翻了不是30倍，而是上百萬倍，再放眼十年，我們還會獲得上百倍的計(jì)算能力。在數(shù)據(jù)方面，我們也有足夠多的數(shù)據(jù)和燃料，從單模態(tài)到多模態(tài)的數(shù)據(jù)。從算法方面，我們從處理視覺這種深層的CAN網(wǎng)絡(luò)，還有去年很火的處理語言的RNN算法，到處理具身智能的算法，現(xiàn)在可以說日新月異，每天都有上百篇非常好的算法來給我們未來的人工智能技術(shù)賦能。

　　第四，現(xiàn)在機(jī)器人和人工智能學(xué)習(xí)，到了如何來學(xué)習(xí)，在虛擬的空間來進(jìn)行模擬。我們做出了世界第一個能夠正步走的最省電的行走機(jī)器人，把下身的形態(tài)和上身多年積累的靈巧操作的手，還有仿生的手融合在一起，我們正在打造未來真正的人形機(jī)器人。在多模態(tài)處理方面，在十年前在深度學(xué)習(xí)，在大模態(tài)和大模型都不火的時候，我們就已經(jīng)開始布局這一方面的基礎(chǔ)研究。我們申請到了中德之間最大的基礎(chǔ)研究項(xiàng)目，叫跨模態(tài)基礎(chǔ)研究項(xiàng)目，去年已經(jīng)進(jìn)入到了第八年，我們和腦科學(xué)，和心理學(xué)共同合作，來研究人的多模態(tài)信息的表達(dá)、存儲、整合和交互，來轉(zhuǎn)移到未來的包括自動駕駛，包括人形機(jī)器人算法和系統(tǒng)。

　　從這種多模態(tài)的低層融合，到中層和晚期的信號級和語義級的融合，我們在打造新的算法，用這種新的算法可以把一些不完全的感覺信息能夠自動補(bǔ)缺。我們在模型和整個數(shù)據(jù)方面，我想未來也是給我們賦能的一個重要的基礎(chǔ)點(diǎn)�，F(xiàn)在不管是汽車的模型，還有人機(jī)交互的模型，還有整個世界的模型，我們做出的結(jié)果還非常少，所以我們現(xiàn)在需要有大量的數(shù)據(jù)端到端學(xué)習(xí)的補(bǔ)充，通過我們未來10、20、30年，甚至上百年這種技術(shù)的努力，我們通過具身智能，通過自動駕駛車，通過機(jī)器人，通過自動設(shè)備，讓這些大數(shù)據(jù)的模型來更好的支撐，更好的完善現(xiàn)在的物理模型，來進(jìn)行未來更好的模型進(jìn)化。

　　一個例子就是我的一個博士后最新做的一款子機(jī)器人，傳統(tǒng)需要多個相機(jī)，通過我們對人模型的建立，就可以非常方便的用兩個簡單的相機(jī)，就做出了這一款個人的對運(yùn)動的捕捉，我們現(xiàn)在也可以從網(wǎng)上任何人的數(shù)據(jù)，現(xiàn)在提出人的運(yùn)動模型，把這些模型來轉(zhuǎn)移到人機(jī)交互上，轉(zhuǎn)移到未來的人形機(jī)器人的編程上。我們也把現(xiàn)在的模型增強(qiáng)學(xué)習(xí)深入的融合，我們現(xiàn)在做出了這一款拿到了基尼斯記錄的乒乓球機(jī)器人，可以個性化來進(jìn)行訓(xùn)練，來做運(yùn)動處方的康復(fù)作用。

　　我們把人的多種知識的一小部分，已經(jīng)融入到服務(wù)機(jī)器人上，在人機(jī)交互的長度方面，可以大大縮短人機(jī)交互需要的長度，通過這種交互也是大大的減少機(jī)器人對世界理解的模型，和真正模型的誤差。

　　去年ChatGPT橫空出世，我在十年前就讓我的學(xué)生做了一幅圖，我說十年后，我們會不會面臨一個機(jī)器人把全世界的書都讀進(jìn)去的一個場景，去年我們就看到了這個場景對圖形和文本方面的影響，當(dāng)然還不是通過機(jī)器人具身的形式，已經(jīng)通過非具身的形式，已經(jīng)給我們在這種白領(lǐng)工作的部分替代方面，已經(jīng)起到了部分的影響。但是在未來這種具身智能，包括機(jī)器人的多模態(tài)的具身智能方面，未來我想是下一個重要的包括投資和研發(fā)，和未來真正的能夠創(chuàng)造個性化機(jī)器的一個重要的節(jié)點(diǎn)。

　　上個星期在自媒體了起到了一個小小的轟動，通過遙控操作各種各樣的服務(wù)機(jī)器人，在前十年和二十年都在不斷的進(jìn)行，現(xiàn)在通過大模型，我們可以通過這種遙控操作來進(jìn)行機(jī)器人未來的編程。這個視頻里面還有很多都是遙控操作的場景，還不是自主的場景，而且魯棒性還非常差。所以大家不要認(rèn)為看見這個視頻以后，就認(rèn)為現(xiàn)在的個人化機(jī)器人已經(jīng)達(dá)到產(chǎn)品化的程度了。從未來的多模態(tài)的具模型，提高可信度和穩(wěn)定性，擺脫高計(jì)算的成本，可解釋，把它落到千行百業(yè)，是我們下一個創(chuàng)新創(chuàng)業(yè)的重要方向。

　　今天我們也看到了人才是創(chuàng)新創(chuàng)業(yè)的一個重要的因素，如何在現(xiàn)在的人工智能時代對工程師的培養(yǎng)，進(jìn)行新的工科的嘗試，是我們現(xiàn)在關(guān)心的一個問題。未來在人工智能的領(lǐng)域，我們要更加注重多模態(tài)的整合和以人為本的倫理需求的重視，還有重視真正對垂直領(lǐng)域的需求有影響的這種創(chuàng)新創(chuàng)業(yè)，對工程師的培育來講，我們要更加重視他們對多模態(tài)的理解能力，他們跨學(xué)科的能力，不管是人工智能的從業(yè)者，還是非人工智能的從業(yè)者，要理解AIGC，人工智能能干什么，不能干什么，包括未來的孩子要學(xué)會如何和人工智能共存，要培養(yǎng)對未來自然的解釋能力，我們的想象力，我們的好奇心，和發(fā)明更好的問題。

　　我也希望未來德國和中國，和陜西，和西安，有著更多的互補(bǔ)結(jié)果，包括在德國的多樣性，小而美，興趣驅(qū)動，洪堡大學(xué)的這種科研和教學(xué)深度融合的原理，和交叉研究的傳統(tǒng)，和中國在這一方面開放、快速、靈活、刻苦的頂層設(shè)計(jì)，工程師紅利和團(tuán)隊(duì)組織方面，能夠深入的互補(bǔ)和互相學(xué)習(xí)。

　　未來的人工智能和通信信息技術(shù)，和機(jī)器人，和未來真正的具身智能的結(jié)合，使得產(chǎn)學(xué)研能夠深入進(jìn)行國際合作，來培養(yǎng)有國際視野的跨學(xué)科的創(chuàng)新人才，來真正應(yīng)對全球的重大挑戰(zhàn)，交叉、創(chuàng)新和融合，來共創(chuàng)和諧社會，美好生活。我想今天在一起這個創(chuàng)投大會，一定在新年里面能夠取得新的成果，也希望和各位陜西的同事和朋友們進(jìn)行深入的合作。謝謝大家!