5月11日，Unite Shanghai 2019正式開幕，在會上，Google 中國 AR/VR 負(fù)責(zé)人Carrie Shiung以“Google ARCore為你解鎖增強(qiáng)現(xiàn)實(shí)的未來”為主題發(fā)表了演講，其講述了ARCore的核心功能部分，以及ARCore在2019 Google I/O發(fā)布的最新功能。

以下為演講內(nèi)容整理：

我是Google中國AR、VR負(fù)責(zé)人。很多人在業(yè)界朋友們碰到我, 都會一臉憂慮告訴我，現(xiàn)在AR市場很冷怎么辦呢？但是我今天不是要來跟大家解盤或打雞血的，我們今天想要實(shí)實(shí)在在的跟大家分享，Google 對AR 的定位、ARCore 的進(jìn)程以及我們?yōu)槭裁匆褂肁R技術(shù)，AR都用在哪里？我也想快速跟大家分享一下Google新發(fā)布的AR功能。

Google對AR的定位

我們看到體驗(yàn)方式不斷變革，從非常久以前的打字、手寫、語音，到了現(xiàn)在的視覺方式，就是用你的眼睛來看這個(gè)世界。另外一方面來說，人類是視覺的動物，我用我的視覺感知可以了解到很多有趣的事情。人類腦子有30%神經(jīng)都是在處理視覺的，AR 技術(shù)就是來訓(xùn)練機(jī)器怎么看世界，怎么看東西，而且會開啟人機(jī)互動的革命。

有了眼睛，其實(shí)會需要我們的大腦，來理解消化場景。所以Google也在不斷發(fā)展認(rèn)知理解、知識系統(tǒng)、人工智能、機(jī)器學(xué)習(xí)等，來配合眼睛有更舒適的視覺處理，之后能夠讓感知的事情和機(jī)器更加為人類提供更好的服務(wù)。

我們所謂更豐富的輸入到底是什么呢？大家可以想一下，我們?nèi)祟愂窃趺礃涌词澜绲?？其?shí)只要看一眼大概就可以知道一個(gè)東西的大小、材質(zhì)，就可以大概知道我是在一個(gè)非常漂亮的餐廳里面，可以知道外面光線是什么樣的。我們Google認(rèn)為現(xiàn)階段最接近人類眼睛的就是手機(jī)上的相機(jī)，幾乎是一個(gè)超級計(jì)算機(jī)，有非常非常豐富的傳感器，再加上IMU, GPS, 算法及機(jī)器學(xué)習(xí)等，各種不同的認(rèn)知，經(jīng)過理解、翻譯之后可以輸出更豐富的現(xiàn)實(shí)和虛擬疊加的畫面。

怎么樣叫做更多樣的輸出呢？我們看有一個(gè)公司叫做Streem Pro，是直接把加油手冊直接投射在汽車上面，你再也不用拿著手冊去對照到底在哪里加油。第二，Google的Measure，你可以直接用你的手機(jī)量度大小尺寸。第三，Google的Maps，我們可以看到直接把要怎么樣走，怎么樣轉(zhuǎn)彎直接投射在要轉(zhuǎn)彎的路上，就不需要非常困難尋找了，就像為你私人設(shè)置的路牌一樣。第四，Tendar游戲，你可以用表情和情緒在你家里養(yǎng)一只虛擬的孔雀魚，很治愈，也不不需要換水喂食物。第五，Google的Playground。

因此，我們相信AR其實(shí)是用來解鎖更有趣的互動方式。我們用手機(jī)拿起來可以非常了解公司剛買的酷炫咖啡機(jī)，你要看杯子放在什么樣的位置，用什么樣的加熱原理讓你覺得咖啡機(jī)原理真的很棒，這個(gè)就是AR場景。

市場為什么冷？其實(shí)我們覺得AR再也不僅是一個(gè)科技名詞，而是用來吸引眼球的，因?yàn)樗浅５挠杏?，它非常的助力無窮，也可以創(chuàng)意十足，它是以視覺展示為基礎(chǔ)展現(xiàn)出來的，另一方面可以非常容易表達(dá)出來你想表達(dá)的東西，未來的創(chuàng)作間是整個(gè)世界了。

ARCore 核心功能部分

我們來看一下真正的ARCore功能。

我稍微科普一下ARCore，第一部分做的是運(yùn)動跟蹤，AR就是利用攝像頭中間的視覺差異跟傳感器做一個(gè)很好的測量結(jié)果，白話來說如果想要放一個(gè)虛擬東西在場景當(dāng)中，就像放一個(gè)稻草人跟你一樣排隊(duì)買食物，只需要一個(gè)虛擬相機(jī)配合你的手機(jī)真實(shí)相機(jī)來做。

第二，環(huán)境理解。ARCore提供的另一個(gè)重要功能就是環(huán)境理解，也就是估算現(xiàn)實(shí)環(huán)境中的平面信息。具體來說，ARCore會提取檢測攝像頭畫面的特征點(diǎn)，查找歸類那些位于水平或垂直平面上的成簇的特征點(diǎn)，來估算平面的位置和大小。 通過ARCore提供的API，你可以獲取平面的類型（水平還是垂直），平面的邊界多邊形、以及平面的中心位置。利用ARCore檢測到的平面， 你可以很容易的將虛擬物體放置在現(xiàn)實(shí)世界中平面上， 比如你可以將一個(gè)虛擬場景平穩(wěn)的放置在一個(gè)桌面上， 或者給墻上加一些嚇人的蜘蛛傳送門等等。

第三，光估測。ARCore可以分析手機(jī)攝像頭拍攝到的圖像信息，以及拍攝的參數(shù)，來估算當(dāng)前環(huán)境中的光照信息。使用這些估算的光照信息，你可以對你渲染的虛擬內(nèi)容進(jìn)行光照和色彩的矯正， 使其與手機(jī)攝像頭拍到的畫面結(jié)合的更加自然，提高虛擬內(nèi)容真實(shí)感。

第四，可跟蹤對象，就是Trackable。這個(gè)Trackable就是現(xiàn)實(shí)世界可以追蹤的點(diǎn)，就是物體移動它可以跟著移動，主要方法就是想做一個(gè)虛擬物體，可以跟著桌面，跟著椅子，做一些不同連接，保持物體之間的連接，如果物體移動之后回來之后還是連接這個(gè)桌子的。

第五，定向點(diǎn)是一種特殊的特征點(diǎn)，是ARCore中的一種可跟蹤對象。ARCore會查看其附近的特征點(diǎn)并使用這些特征點(diǎn)估算這個(gè)定向點(diǎn)所在平面的法線的方向。借助定向點(diǎn)，您可以將虛擬物體置于傾斜的表面上。

第六，增強(qiáng)圖像。增強(qiáng)圖像是虛擬物體和現(xiàn)實(shí)世界中互動的一個(gè)最佳實(shí)踐，ARCore 可以檢測手機(jī)拍攝到的圖像信息，并與預(yù)先設(shè)置的數(shù)據(jù)庫中的2D圖像去匹配。 當(dāng)ARCore匹配到圖像數(shù)據(jù)庫中的圖像時(shí)，他會返回一個(gè)增強(qiáng)圖像的可跟蹤對象。 你可以獲取圖像的在現(xiàn)實(shí)空間中的姿態(tài)， 大小等信息。利用這一功能，你可以構(gòu)建能夠響應(yīng)特定 2D 圖像（如產(chǎn)品包裝或電影海報(bào)）的 AR 應(yīng)用。用戶可以在將手機(jī)的攝像頭對準(zhǔn)特定圖像時(shí)觸發(fā) AR 體驗(yàn)。

第七，云錨點(diǎn)。我要怎么解決多人共享，或者怎么樣讓它一直存在在AR世界里面呢？其實(shí)云錨點(diǎn)就是解答，我們可以用設(shè)備放到云端做托管工作，再把錨點(diǎn)與同一環(huán)境中的Android和IOS設(shè)備做共享。

ARCore的改進(jìn)

我們現(xiàn)在一直在不斷演進(jìn)，我們做了很多的改進(jìn)，我們第一個(gè)的改進(jìn)就是運(yùn)動跟蹤，就是在跟蹤物體時(shí)可以非常容易找到，不會有不穩(wěn)定的情況，從現(xiàn)在30%的穩(wěn)健性提升，其實(shí)主要就是說可以有效進(jìn)入特征，我們都可以把這個(gè)反饋給開發(fā)者，讓大家更好在APP里面引導(dǎo)你怎么做。

第二，平面檢測也是大家覺得非常重要的，其實(shí)AR方面的三角測量需要有一定的動作和面積，緩慢移動才能讓我們很好看到平面，有些人是因?yàn)閼?yīng)用很久就找不到平面了，在這個(gè)方面也下了很多功夫做改進(jìn)，這個(gè)方面不知道該怎么去掃平面，所以用自己的算法可以讓它真正減少平面檢測時(shí)間。我們已經(jīng)將第一次找到平面所需的時(shí)間，降低了50%。

另外一個(gè)更新相機(jī)更新。我們在相機(jī)方面也會不斷更新，主要第一個(gè)拍AR照片時(shí)為了讓虛擬物體看起來非常真實(shí)，在一些焦距上面都有控制，你現(xiàn)在拍AR照片都解決了非常多的不清楚的問題，還有一個(gè)共享攝像頭權(quán)限，開發(fā)者可以在AR攝像機(jī)里面很快轉(zhuǎn)化到攝像里面。此外，我們還加了支持前置攝像頭的AR拍攝方式。

ARCore跟Unity也有深度的結(jié)合，我們每個(gè)版本都會實(shí)時(shí)更新，大家可以直接去用。或者是說可以用Unity做ARCore的開發(fā)。我們也把在ARCore的功能帶到IOS里面，真正做到跨平臺。

現(xiàn)在全球已經(jīng)有4億的ARCore認(rèn)證設(shè)備了，我們相信這個(gè)數(shù)據(jù)會不斷增加了，為什么會有這個(gè)自信會增加呢？因?yàn)楹秃芏啻髲S合作了，他們在設(shè)計(jì)開發(fā)時(shí)就已經(jīng)討論了手機(jī)出廠時(shí)確定這個(gè)是ARCore的設(shè)備，所以手機(jī)新出廠可以讓更多人享用到ARCore。國外國內(nèi)都有很多的APP，有各式各樣的，可以讓大家使用的，用在你的設(shè)備里或者發(fā)揮你的創(chuàng)意。

當(dāng)然了，我今天一定要講一下跟中國有關(guān)的事情，也就是說在去年上市的時(shí)候，我們也在中國同步上線，現(xiàn)在ARCore1.9在全球百分之百發(fā)布，我們在中國各個(gè)商店里面也是在今天發(fā)布的。大家現(xiàn)在就可以享受到ARCore發(fā)布的功能。另外，在中國也在做手機(jī)認(rèn)證，目前可以支持4500萬。

另外，我們跟國內(nèi)很多開發(fā)者進(jìn)行合作，在購物、興趣點(diǎn)、游戲、個(gè)人表達(dá)，這幾個(gè)行業(yè)應(yīng)用里面，不管跟頭部合作伙伴還是各位開發(fā)者一起來打造AR應(yīng)驗(yàn)，讓它被更多人所應(yīng)用。我們來看一下國內(nèi)的應(yīng)用，像美圖已經(jīng)用到了臉部增強(qiáng)功能，這個(gè)效果看起來真的是非常真實(shí)的。另一方面，神奇AR也是做了非常爆紅的貼紙，做的也非常真實(shí)，還有一款是Snaappy，你可以用AR來傳遞給你的朋友。

以下很快跟大家分享一下發(fā)布的新功能。在講新功能之前，先說一下為什么要做ARCore？因?yàn)槲覀兿Ｍ诟嗟胤接懈嘤脩?，提供更逼真的體驗(yàn)。我們一直認(rèn)為說逼真是非常重要的，我們看看在2019年 Google I/O 做了什么東西呢？

2019 Google I/O ARCore 更新

第一，增強(qiáng)臉部。我們發(fā)現(xiàn)自拍 Selfie 已經(jīng)成為全球流行的一個(gè)現(xiàn)象，大家每個(gè)人都對自己的臉有非常表達(dá)的欲望，希望有最美的妝容，最酷炫的臉，因此，今年就全新推出了一個(gè)增強(qiáng)臉部功能。

大家看一下增強(qiáng)臉部功能提供了前置攝像頭，有非常好的精度，支持468個(gè)點(diǎn)的3D網(wǎng)絡(luò)，人的臉部經(jīng)過細(xì)小的肌肉產(chǎn)生出不同的表現(xiàn)，會有各種不同的表情來操作不同的事情。另一方面，因?yàn)榉N族，因?yàn)槟挲g，因?yàn)槟w色的不同，你要能夠非常要做臉部是一個(gè)很大的挑戰(zhàn)，我們其實(shí)做了非常多的，我們做了算法改進(jìn)，讓它可以適應(yīng)大部分的做法。更重要的是，我們不需要深度傳感器，而是使用機(jī)器學(xué)習(xí)技術(shù)來實(shí)現(xiàn)這樣的功能。

我們可以看到酷炫，日曬，冰凍等炫酷效果。我們也將在今年夏天推出IOS的ARCore，我們不需要深度的傳感器，再低版本的手機(jī)也可以享受到功能。第一個(gè)和我們合作的是美圖，他們將在下周的時(shí)候就在潮自拍上、美圖上會有這個(gè)功能。

第二，增強(qiáng)圖像。你可以去看整個(gè)需要理解的環(huán)境，最大可以做到10乘以10的空間，相關(guān)點(diǎn)可以投射到10乘以10的空間里面。

第三，移動增強(qiáng)圖像。這個(gè)例子是可以把一個(gè)紙片用手機(jī)照一下，之后就會變成移動迷宮，你可以直接移動紙片完成游戲。這個(gè)部分也跟京東一起合作了，做了相關(guān)的案例，這是讓小孩子做拼字游戲的部分。如果對著這個(gè)圖片的話有C、A、R，如果對著字母的話會變成3D圖形。除了把AR 和圖片鏈接，我們還可以改變現(xiàn)實(shí)物品并呈現(xiàn)在虛擬世界的東西，例如Notable Woman的 app, 是由Roisie Rios 和Google creative lab 共同開發(fā)的，用來表彰美國歷史上重要的女性楷模，你可以把美元上的華盛頓轉(zhuǎn)換成女性楷模的頭像，效果非常驚艷，完全能夠以假亂真。

我再講一個(gè)比較底層的功能，這個(gè)是非常非常重要的，就是為什么把這個(gè)世界感覺變得更真實(shí)，其實(shí)就需要360度的HDR的光照效果。

講完以上的話，除了AR讓開發(fā)者用的各種功能，再講一下場景觀測器，這個(gè)目標(biāo)是讓更多人簡單享受到AR，這個(gè)主要為網(wǎng)站達(dá)到經(jīng)驗(yàn)，讓網(wǎng)站可以直接顯現(xiàn)3D的場景。大家看一下這個(gè)是怎么實(shí)現(xiàn)呢？我想現(xiàn)在大部分都知道Model Viewer，這是一個(gè)元件可以直接加入進(jìn)來，如果要AR功能是非常簡單的，你只要在Model Viewer加入進(jìn)去就可以了。