“市面上現(xiàn)有的AI大模型雖然頭腦逐漸發(fā)達(dá)，卻無(wú)法與物理世界產(chǎn)生交互?！闭赜^電子創(chuàng)始人馮歆鵬告訴高工移動(dòng)機(jī)器人，要真正實(shí)現(xiàn)交互，還有大量的問(wèn)題沒(méi)有被解決，當(dāng)前AI只能解決1%不到的問(wèn)題，還有99%的問(wèn)題亟待空間智能解決。

空間智能：讓機(jī)器理解世界

“人類智能可以簡(jiǎn)要?dú)w納為兩大智能，‘語(yǔ)言智能’和‘空間智能’。雖然語(yǔ)言智能備受關(guān)注，但空間智能將對(duì) AI 產(chǎn)生巨大影響?！盇I教母李飛飛曾在演講中提到：世界是3D 的，空間智能是視覺(jué)智能的發(fā)展方向。

她認(rèn)為，人工智能正處于一個(gè)激動(dòng)人心的階段，而空間智能技術(shù)使機(jī)器能夠與人，以及真實(shí)或想象中的三維世界進(jìn)行互動(dòng)。

英偉達(dá)高級(jí)計(jì)算機(jī)科學(xué)家 Jim Fan 也稱，空間智能，是計(jì)算機(jī)視覺(jué)和實(shí)體智能體的下一個(gè)前沿。

2024年4月份，李飛飛被曝創(chuàng)業(yè)——投身純視覺(jué)的“空間智能”。

直到2024年12月，其初創(chuàng)公司 World Labs 終于官宣了空間智能模型：僅用一張簡(jiǎn)單的圖片就能生成一個(gè)3D世界。

值得注意的是，里面所有場(chǎng)景都能在瀏覽器中實(shí)時(shí)渲染，還能實(shí)現(xiàn)可控的相機(jī)效果、可調(diào)節(jié)的模擬景深。

這讓很多人看到了空間智能的希望——能顯著提升游戲、教育等行業(yè)的效率和體驗(yàn)。然而，空間智能的未來(lái)遠(yuǎn)不止此。

空間智能到底是什么?

按照World Labs 聯(lián)合創(chuàng)始人賈斯汀的說(shuō)法，空間智能是指機(jī)器在三維空間和時(shí)間中感知、推理和行動(dòng)的能力。也就是讓機(jī)器理解物體和事件在三維空間和時(shí)間中的位置，以及世界中的交互如何影響這些三維位置，從而完成感知、推理、生成、交互等任務(wù)，真正將機(jī)器從大型機(jī)或數(shù)據(jù)中心中解放出來(lái)，讓它進(jìn)入現(xiàn)實(shí)世界，并理解這個(gè)豐富多彩的三維、四維世界。

簡(jiǎn)單來(lái)說(shuō)，就是讓機(jī)器能像人類一樣，能夠理解世界，擁有復(fù)雜的視覺(jué)感知推理能力。

這很難，僅靠純視覺(jué)+AI 真的能完成嗎?

肇觀電子：成為端側(cè)英偉達(dá)

肇觀電子創(chuàng)始人馮歆鵬給出了答案：要讓智能設(shè)備看得懂世界，首先得看得見(jiàn)世界和看得清楚世界。

對(duì)于智能設(shè)備來(lái)說(shuō)，世界反饋的信息是爆炸式的，要理解一張圖片或者一段視頻，背后的算力需求極其龐大，因此芯片異常重要。

作為前AMD芯片研發(fā)總監(jiān)，馮歆鵬主導(dǎo)和參與設(shè)計(jì)了50余款數(shù)千萬(wàn)量級(jí)的頂尖CPU和GPU芯片。他清楚傳統(tǒng)的CPU、GPU芯片面對(duì)海量的像素信息無(wú)法高效滿足實(shí)時(shí)處理需求，因此，選擇了研發(fā)VPU芯片，即視覺(jué)處理器。

它區(qū)別于傳統(tǒng)芯片，可以實(shí)時(shí)處理端側(cè)數(shù)據(jù)、聚焦光子到比特的問(wèn)題，從大量信息中提取有價(jià)值的少量信息，專門解決像素爆炸的痛點(diǎn)。

讓智能設(shè)備通過(guò)“光電轉(zhuǎn)換的Sensor+VPU” 的硅基系統(tǒng)看世界，就像人通過(guò)“視網(wǎng)膜+大腦的視神經(jīng)皮層” 的碳基系統(tǒng)看世界一樣，智能設(shè)備也能理解物理世界中的關(guān)鍵信息。

“AI 其實(shí)是模擬人的代碼。人的大腦分為兩部分思維方式，一部分是想象，即從少量信息生成多量信息這個(gè)過(guò)程，在AI里對(duì)應(yīng)GPU;另一部分是從大量信息中抽取少量信息，這部分對(duì)應(yīng)VPU。也就是說(shuō)，VPU+GPU共同構(gòu)成AI?！?/p>

馮歆鵬接著說(shuō)道，目前做GPU的企業(yè)像英偉達(dá)已經(jīng)跑出了近4萬(wàn)億美金的市值，而視覺(jué)作為智能的基礎(chǔ)，重要性更高，可以說(shuō)，解決視覺(jué)問(wèn)題就是解決一半的人工智能問(wèn)題。

“將來(lái)VPU市場(chǎng)一定會(huì)誕生萬(wàn)億美元的公司，這是一條值得耕耘百年甚至更久的賽道?！瘪T歆鵬表示，肇觀電子的目標(biāo)，是成為“端側(cè)的英偉達(dá)”。

五大技術(shù)助力空間智能實(shí)現(xiàn)

肇觀電子成立于2016年，專注于人工智能計(jì)算機(jī)視覺(jué)處理芯片設(shè)計(jì)和終端應(yīng)用，是空間智能的核心供應(yīng)商。

“市面上現(xiàn)有的AI大模型雖然頭腦逐漸發(fā)達(dá)，卻無(wú)法與物理世界產(chǎn)生交互?！瘪T歆鵬告訴高工移動(dòng)機(jī)器人，要真正實(shí)現(xiàn)交互，還有大量的問(wèn)題沒(méi)有被解決，當(dāng)前 AI 只能解決1%不到的問(wèn)題，還有99%的問(wèn)題亟待空間智能解決。

在不斷助力空間智能實(shí)現(xiàn)的路上，肇觀電子已有所成就。

針對(duì)像素處理的效率問(wèn)題、算力帶來(lái)的能源問(wèn)題、低延時(shí)的必要性以及VPU和GPU的互補(bǔ)性等，肇觀電子堅(jiān)持給每一代產(chǎn)品應(yīng)用五大底層技術(shù)——成像、3D、AI、VSLAM加速以及SoC，幫助智能設(shè)備感知真實(shí)世界。

成像

芯片自帶ISP圖像處理，可以解決強(qiáng)光、弱光和逆光等各種特殊光照條件下的成像問(wèn)題，HDR與極暗光照成像效果業(yè)界領(lǐng)先;并且精調(diào)80多種sensor，適配性強(qiáng)。

3D

3D幾何計(jì)算引擎設(shè)計(jì)領(lǐng)先，利用空間和時(shí)間相關(guān)性信息計(jì)算輸出高精度深度圖，反過(guò)來(lái)推算出自身在空間環(huán)境中的位置，和其他物體進(jìn)行互動(dòng)。

AI

支持包括Transformer在內(nèi)的各類神經(jīng)網(wǎng)絡(luò)模型，支持INT8并同時(shí)支持 FP16 ，硬件引擎利用率業(yè)界領(lǐng)先。

VSLAM

VSLAM-lib可實(shí)現(xiàn)視覺(jué)實(shí)時(shí)三維重建加速，和定位及構(gòu)圖硬件加速，使得設(shè)備能夠在三維空間中精準(zhǔn)定位和空間建模。

SoC

采用SoC單芯片方案，高度集成上述多種能力，單顆芯片集成了30個(gè)小芯片，具備性能高、功耗低、成本低、系統(tǒng)復(fù)雜度低的特點(diǎn)。并且接口豐富，軟件完全自主可控，支持客戶靈活開(kāi)發(fā)。

基于這五大底層技術(shù)，肇觀電子目前已成功發(fā)布具備先進(jìn)視覺(jué)處理能力的V系列、D系列、N系列芯片及模組，廣泛應(yīng)用于輔助駕駛、工業(yè)和機(jī)器人等領(lǐng)域。

在泛機(jī)器人領(lǐng)域，肇觀電子的產(chǎn)品廣泛應(yīng)用于工業(yè)機(jī)器人、服務(wù)機(jī)器人、割草機(jī)器人、無(wú)人機(jī)以及人形機(jī)器人，是多家移動(dòng)機(jī)器人頭部企業(yè)的合作商。

其代表產(chǎn)品費(fèi)曼系列相機(jī)，基于自主研發(fā)的NE-D163A 主控SoC人工智能視覺(jué)芯片，籍由NE-D163A 強(qiáng)大的ISP、DSP、CNN 和 Depth 處理能力，能夠提供主動(dòng)雙目立體視覺(jué)感知能力，在室內(nèi)外各種場(chǎng)景，均能生成高幀率和高精度的深度圖，同時(shí)支持端側(cè)實(shí)時(shí)智能AI算法的部署。

下圖為費(fèi)曼相機(jī)的真實(shí)成像，馮歆鵬介紹道，跟Intel RealSense 相比，費(fèi)曼相機(jī)生成的深度圖噪點(diǎn)更少，而且擁有AI加持。

目前，費(fèi)曼系列相機(jī)已經(jīng)被廣泛使用在AGV/AMR、機(jī)械臂、各類移動(dòng)機(jī)器人、無(wú)人機(jī)、工業(yè)檢測(cè)等生產(chǎn)的各個(gè)場(chǎng)景，累計(jì)出貨5萬(wàn)套以上并快速增長(zhǎng)。

最后

雖然目前離李飛飛所言的空間智能還有一定距離，但其基本技術(shù)——純視覺(jué)的落地應(yīng)用已有廣泛布局。

像特斯拉就是純視覺(jué)堅(jiān)定的支持者;近年來(lái)大興的人形機(jī)器人因著數(shù)據(jù)收集及學(xué)習(xí)的需要，應(yīng)用的技術(shù)也大多是純視覺(jué);多家移動(dòng)機(jī)器人及汽車廠商也應(yīng)用了純視覺(jué)技術(shù)。

高工機(jī)器人產(chǎn)業(yè)研究所(GGII)數(shù)據(jù)顯示，2023年中國(guó)機(jī)器視覺(jué)市場(chǎng)規(guī)模185.12億元(該數(shù)據(jù)未包含自動(dòng)化集成設(shè)備規(guī)模)，同比增長(zhǎng)8.49%。

相信未來(lái)技術(shù)成熟之時(shí)，空間智能定能如馮歆鵬預(yù)測(cè)那般，成長(zhǎng)為萬(wàn)億美元市場(chǎng)。

—END—