伯納德·克雷斯（Bernard Kress）是微軟HoloLens光學(xué)架構(gòu)師（Partner職級）。他在10年代的初期主要是擔(dān)任谷歌眼鏡的首席光學(xué)架構(gòu)師，但于2015年來到了微軟，并一直從事HoloLens混合現(xiàn)實智能頭顯的研發(fā)工作。

作為對EDO19 Digital Optical Technologies大會的介紹，克雷斯撰文概述了當(dāng)前當(dāng)前AR/VR/MR的數(shù)字光學(xué)元件和技術(shù)。下面是映維網(wǎng)的具體整理：

已于2019年6月24日-27日結(jié)束的EDO19 Digital Optical Technologies的話題涵蓋了用于AR/VR/MR系統(tǒng)的新型光學(xué)元件，如自由空間光學(xué)元件，波導(dǎo)光學(xué)元件（波導(dǎo)組合器），衍射，全息和超表面光學(xué)元件，可調(diào)，可切換和可重新配置的光學(xué)元件。下一屆大會將于2021年6月21日-24日召開。

1. 介紹

國防一直是增強現(xiàn)實和虛擬現(xiàn)實的首批應(yīng)用領(lǐng)域，這最早可以追溯至上世紀(jì)50年代。接下來，第一個消費者VR/AR浪潮于90年代開始興起，但因為過于超前，尚未成熟，沉浸式領(lǐng)域的熱度開始淡化萎縮。然而，正是由于缺乏可用的消費者顯示技術(shù)和相關(guān)傳感器，當(dāng)時誕生了一系列的新型光學(xué)顯示概念，而它們在今天依然是相當(dāng)前沿的技術(shù)，如Reflection Technology的“Private Eye”智能眼鏡（1989）和任天堂的Virtual Boy（1995）。兩者都是基于掃描顯示器，而非平面顯示器。盡管這種顯示技術(shù)在當(dāng)時十分超前，但消費者級IMU傳感器，低功率3D渲染顯卡，以及無線數(shù)據(jù)傳輸技術(shù)的缺乏導(dǎo)致第一起VR浪潮于90年代的消退。另一個原因是數(shù)字內(nèi)容的缺乏，或者缺乏對企業(yè)和消費者VR/AR內(nèi)容的清晰認(rèn)識。

這與General Magic早期的iPod開發(fā)十分類似。在90年代后期，這家公司提出了所述的硬件概念，但當(dāng)時缺乏無線傳輸技術(shù)和音樂庫。十年后的蘋果終于整合了這三個要素（硬件，WIFI，在線音樂庫），而這種iPod概念顛覆了一個時代。它不僅成為了一種理想的音樂播放產(chǎn)品，同時引起了消費市場的強烈共鳴。

類似地，無論消費者AR/VR頭顯的質(zhì)量如何，如果缺乏相應(yīng)的“iTune Store App”，消費者市場將不會實現(xiàn)騰飛。

在第一波浪潮衰退之后的十年間，依然在持續(xù)拓展AR/VR技術(shù)的領(lǐng)域是國防工業(yè)，如飛行模擬與訓(xùn)練（用于旋轉(zhuǎn)翼飛行器的頭盔式顯示器和用于固定翼飛行器的平視顯示器）。在00年代，有效的消費者努力是汽車平視顯示器和個人雙目頭顯視頻播放器領(lǐng)域。

今天的工程師們從小就能接觸到不斷普及的平板顯示器技術(shù)，而比起20年前不得不從零發(fā)明新穎沉浸式顯示技術(shù)的同行相比，他們已經(jīng)習(xí)慣于這樣的創(chuàng)新額。自2012年以來，我們看到了基于現(xiàn)成智能手機顯示面板（LTPS-LCD，IPS-LCD，AMOLED）或Pico顯示面板（HTPS-LCD，mu-OLED，DLP，LCoS），以及IMU，攝像頭，深度傳感器（結(jié)構(gòu)光和飛行時間）的初始沉浸式AR/VR實現(xiàn)。目前，頭顯顯示架構(gòu)正在緩慢發(fā)展為更具體的技術(shù)，而且與平板顯示器更適合沉浸體驗的要求。就如同在20年前興起的發(fā)明浪潮（無機mu-LED面板，一維掃描陣列，二維激光/VCSEL MEMS掃描器……），現(xiàn)在行業(yè)可謂是欣欣向榮。

就顯示，聯(lián)網(wǎng)和傳感器方面，智能手機技術(shù)生態(tài)系統(tǒng)塑造了第二波VR/AR浪潮，而且一直是早期產(chǎn)品最為顯而易見的目標(biāo)用例。這種傳統(tǒng)額度顯示技術(shù)將作為下一波的初始催化劑。

然而，AR/VR沉浸式顯示體驗是延續(xù)半個多世紀(jì)以來的傳統(tǒng)面板顯示體驗的范式轉(zhuǎn)變：從CRT電視到LCD電腦顯示器和筆記本電腦屏幕，再到OLED平板電腦和智能手機，LCoS，DLP和MEMS掃描儀數(shù)字投影儀，再到iLED智能手表（請參見圖1）。

圖1：沉浸式近眼顯示器：個人信息顯示器的范式轉(zhuǎn)變

當(dāng)用平板顯示技術(shù)和架構(gòu)（智能電話或微型顯示面板）來實現(xiàn)沉浸式近眼顯示設(shè)備時，光學(xué)擴展量，固定焦點和低亮度成為了嚴(yán)重的限制。為了支持近眼顯示器匹配人類視覺系統(tǒng)的特性，我們需要替代性的顯示技術(shù)。

虛擬現(xiàn)實/增強現(xiàn)實/智能眼鏡熱潮在本世紀(jì)10年代初的第二次興起帶來了新的命名趨勢：混合現(xiàn)實，融合現(xiàn)實，擴展現(xiàn)實，或統(tǒng)稱為XR。智能眼戴設(shè)備（包括數(shù)字信息顯示器和眼鏡）趨向于替代最初的智能眼鏡命名慣例。

2. 智能眼鏡/AR/MR/VR市場

與第一次的AR/VR熱潮不同，今天的投資者，市場分析師，AR/VR/MR開發(fā)商及企業(yè)用戶都期望這種獨特的技術(shù)能夠在未來5年內(nèi)帶來真正的投資回報， 如2017/2018 Gartner技術(shù)成熟度曲線所示（參見圖2）。

圖2：Gartner技術(shù)成熟度曲線

2017年的Gartner圖表表明，AR和VR有望在2年到10年內(nèi)達到穩(wěn)定的發(fā)展，而VR要領(lǐng)先AR數(shù)年。這是大多數(shù)AR/VR分析師所認(rèn)可的概念。有趣的是，修訂后的2018年圖表不再顯示VR，而是MR。VR在2018年進入了一個更為成熟的階段，甚至成為一種商品，所以Gartner將其從新興技術(shù)類別中移除。

但我們必須謹(jǐn)慎看待。目前已得到證實的可持續(xù)市場是企業(yè)MR，其中投資回報率（ROI）主要是成本成本規(guī)避：

新員工的上手速度更快，錯誤更少，收益更高。

協(xié)同設(shè)計，遠程專家指導(dǎo)，更好的服務(wù)，增強的監(jiān)控。

更高的制造質(zhì)量保證。

提升了產(chǎn)品展示和演示，并提供了更好的最終用戶體驗。

混合現(xiàn)實已經(jīng)在出制造業(yè)（汽車，航空電子設(shè)備，重工業(yè)產(chǎn)品），電力，能源，采礦和公用事業(yè)，技術(shù)，媒體和電信，醫(yī)療保健和外科手術(shù)，金融服務(wù)以及零售/接待/休閑領(lǐng)域等領(lǐng)域出現(xiàn)了明顯的投資回報率。

現(xiàn)有智能眼鏡/AR/MR消費市場的證據(jù)則相對不是十分明顯。智能眼鏡（Google Glass，Snap Spectacles，英特爾Vaunt或North“Focals”）已經(jīng)經(jīng)過試水；VR頭顯的發(fā)展最近有所放緩（Oculus/Facebook VR，谷歌Daydream，索尼PSVR），而其他廠商的VR項目已經(jīng)終止，比如說英特爾的Alloy和宏碁/StarVR的大視場頭顯。但從長遠來看，MR的視頻用例潛力依然很大。在2018年，盡管曾帶來了強大的初始產(chǎn)品和獲得了雄厚的風(fēng)投支持，但諸如MetaVision Corp（Meta2），CastAR Corp和ODG Corp（ODG R8和R9）等中等規(guī)模的企業(yè)經(jīng)歷了倒閉情況。其他公司則進行了重大重組，如Avegant。MetaVision和CastAR在2019年中期迎來了新生，這表明所述領(lǐng)域依然存在巨大的不確定性，同時充滿驚喜。其他公司（Vuzix）則在整個2019年實現(xiàn)了持續(xù)增長和風(fēng)投支持（Digilens Corp）。

在智能眼鏡方面，專注于音頻的智能眼鏡獲得了強勁的投資回報。提供音頻沉浸感和世界鎖定音頻（僅基于IMU）的音頻智能眼鏡并不是全新的概念，但最近迎來了諸如環(huán)繞聲和降噪等方面的進步。它們可以為消費者和企業(yè)提供基本的輸入和命令，同時是增強世界體驗的重要組成要素。華為等大公司最近已經(jīng)推出了音頻AR智能眼鏡。另外，諸如Snap Spectacles（第1代和第2代）之類的攝像頭眼鏡和Google Glass Explorer版本一樣難以獲得消費者的認(rèn)可。

除空間世界鎖定音頻外，如果存在IMU（如Bose AR Frames），則設(shè)備同時可以檢測一系列不同的頭部和身體姿態(tài)，包括俯臥撐，下蹲，點頭，搖動，雙擊，看向上，向下看和轉(zhuǎn)頭等等。

表1：智能眼鏡/AR/VR/MR頭顯在消費者/企業(yè)/國防領(lǐng)域的采用率。

在英特爾Vaunt項目的帶動下，具有更小顯示屏（約10度單眼視場）和視力校正功能的小尺寸智能眼鏡在2018年重新抬頭（2014年的谷歌眼鏡遭遇了失?。?。然而，英特爾的項目于當(dāng)年下半年中止，轉(zhuǎn)而投資了由North開發(fā)的“Focals”。但這款產(chǎn)品在2019年初出現(xiàn)了近50％的價格暴跌，而North同樣進行了大量的裁員。目前消費者智能眼鏡的短期前景不是十分明朗。僅針對企業(yè)領(lǐng)域的智能眼鏡概念則出現(xiàn)一段安靜但平穩(wěn)的增長期，如RealWear頭顯（加拿大溫哥華）和更時尚的Google Glass Enterprise V2眼鏡。

另一方面，當(dāng)前的風(fēng)投正在瘋狂地助推初創(chuàng)獨角獸的發(fā)展，比如說Magic Leap（總投資額超過30億美元，估值達到70億美元）。這透露出后期階段投資者（阿里巴巴，新加坡淡馬錫和沙特基金）的“Fear Of Missing Out（害怕錯過）”心理，并渴望跟隨主要科技風(fēng)投（谷歌，亞馬遜，高通）的前期投資決定。同時值得注意的是，Magic Leap的最后兩筆風(fēng)投（2018年末和2019年中）是由主要通信公司提供（AT&T/金額未知，Docomo/2.8億美元）。他們寄望于未來的AR市場將能推動帶寬通信（5G，WiGig等）的發(fā)展，而這同時將為MR云服務(wù)帶來持續(xù)的投資回報（AR/MR硬件回報極低）。

不論投資炒作幾許，一家大型消費電子公司都很可能同時創(chuàng)建最終的消費者頭顯架構(gòu)（解決視覺/可穿戴舒適性/沉浸式體驗），以及隨后的消費者市場。對于企業(yè)市場來說，內(nèi)容是根據(jù)每家企業(yè)的特定需求而定制開發(fā)，而消費市場則需要完全依靠整個MR生態(tài)系統(tǒng)的發(fā)展，這包括從通用硬件到通用內(nèi)容與應(yīng)用程序。

盡管2018年Q3季度智能手機和平板電腦的銷量首次出現(xiàn)了全球性下滑，而這預(yù)告了蘋果于同年Q4季度30％的股票跌幅，但尚不清楚這種MR消費者硬件是否有潛力（甚至是意愿）取代 現(xiàn)有的智能手機/平板電腦，或作為智能手機的附件，從而提供傳統(tǒng)顯示屏概念所無法企及的沉浸式體驗。

除了這里討論的消費者和企業(yè)市場之外，MR頭顯在國防市場存在巨大的潛力。微軟已經(jīng)在2018年Q4季度拿下4.8億美元的美國國防合同，為美國陸軍開發(fā)特殊版本的HoloLens：IVAS（Integrated Visual Augmentation System；集成視覺增強系統(tǒng)）。這是AR/VR/MR有史以來最大的合同，并將推動全球MR生態(tài)系統(tǒng)的發(fā)展。

3. MR正作為下一個計算平臺而逐漸興起

智能眼鏡（同時又稱為數(shù)字眼戴設(shè)備）主要是眼鏡的擴展，為視力障礙提供數(shù)字情景顯示（請參見圖3中的谷歌眼鏡）。這個概念與AR或MR大不相同。 典型的智能眼鏡在視場方面非常?。▽蔷€小于15度），而且通常會偏離視線。傳感器的缺乏（IMU除外）只可實現(xiàn)大約三自由度的頭部追蹤，而雙目視覺的不足則只能顯示簡單的2D文字與圖像。單眼顯示器不需要雙眼視覺系統(tǒng)那樣的鏡框剛度（從而減少可能引起眼睛疲勞的水平和垂直視差）。大多數(shù)智能眼鏡開發(fā)商同時將視力校正作為標(biāo)準(zhǔn)功能（North的Focal或Google Glass V2）。

圖3：智能眼鏡，AR/VR和VR頭顯的興起。

強大的連接（3G，4G，WiFi，藍牙）和攝像頭的結(jié)合令它有理由成為智能手機的強大配件，如用于情景顯示功能或用作虛擬助手，GPS和社交網(wǎng)絡(luò)配件（得益于攝像頭）。智能眼鏡并非旨在取代智能手機，而是補充智能手機，就如同智能手表一樣。

VR頭顯是游戲主機的擴展，這可見于索尼，Ocuus，HTC和微軟WMR等主要游戲供應(yīng)商，以及諸如Steam等游戲內(nèi)容合作伙伴。這種頭顯通常搭載游戲控制器（請參見圖3）。早期的外向內(nèi)傳感器（如2016年的Oculus CV1和HTC Vive）已經(jīng)發(fā)展至今天的內(nèi)向外追蹤，從而提供了更緊湊的硬件（如WMR和三星玄龍）。盡管這種高端VR系統(tǒng)依然需要搭載先進GPU的昂貴PC或筆記本電腦，但VR一體機已于2018年登陸消費者市場，如Oculus Go（3DOF-IMU）和HTC Vive Focus，而它們能夠成為蓬勃發(fā)展的VR消費者市場的基礎(chǔ)。最近，搭載內(nèi)向外傳感器的VR一體機進一步擴展了這一產(chǎn)品類別，比方說Oculus Quest（六自由度）。

然而，搭載內(nèi)向外傳感器的高端VR頭顯已經(jīng)面世，比如說Oculus和HTC于2019年推出的Rift S和Vive Pro。諸如三星玄龍+等其他WMR頭顯則將2017年版本的分辨率翻了一番。

AR/MR系統(tǒng)將成為下一個計算平臺，取代原來的桌面和筆記本硬件，以及正在衰退的平板電腦硬件。大多數(shù)這樣的硬件都是無線束縛形式（參見圖3的HoloLen V1），需要高端光學(xué)，組合器元件和傳感器（深度掃描攝像頭，頭部追蹤攝像頭，精確的眼動追蹤器和姿勢傳感器）。它們是當(dāng)前要求最為苛刻的硬件，尤其是對光學(xué)硬件而言。最終，如果技術(shù)允許，這三個類別將融合成單一的硬件概念。不過，它們需要連接（5G，WiGig），視覺舒適度（顯示技術(shù)），以及穿戴舒適度（續(xù)航能力，熱管理，重量/尺寸）等方面的提升。

智能手機和平板電腦在2018年Q3季度全球銷量下降是一個重大信號，這會促使大型消費電子公司和風(fēng)投把目光投向“下一個劃時代的產(chǎn)品”。無論這最終是什么，MR都是一個優(yōu)秀的候選者。

4. 終極MR體驗的關(guān)鍵

對于消費者或企業(yè)而言，終極的MR體驗都是沿著兩個主軸定義：舒適度和沉浸感。舒適感有兩個方面：穿戴性和視覺。從顯示到音頻，再到手勢和觸覺等等，沉浸感有多種表現(xiàn)形式。

在舒適度和沉浸感的融合中，令人信服的MR體驗需要做到三點：

低于10ms的運動到光子延遲（通過優(yōu)化的傳感器融合和低延遲顯示）。

通過連續(xù)的深度映射和語義識別實現(xiàn)內(nèi)容鎖定。

快速眼動追蹤和通用眼動追蹤是必備的功能，它將能實現(xiàn)本文列出的眾多功能。

大多數(shù)都可以通過集成于專用芯片的全局傳感器融合工藝實現(xiàn)，例如HoloLens的HPU（Holographic Processing Unit；全息處理單元）。

4.1 穿戴舒適度和視覺舒適度

對任何一款MR頭顯架構(gòu)而言，穿戴舒適度和視覺舒適度都是實現(xiàn)主流普及的重要基礎(chǔ)。

穿戴舒適度包括：

無線束縛的頭顯，可實現(xiàn)最佳移動性（5G或WiGig帶來的未來無線連接將能顯著減少板載計算和渲染負(fù)載）。

體積小，重量輕。

整個頭顯的熱管理（被動或主動）。

壓力點的皮膚接觸管理。

用于控制汗水和熱量的透氣面料。

頭顯重心更接近頭部中心。

視覺舒適度包括：

大視窗，可實現(xiàn)廣泛的IPD覆蓋。對于消費者而言，光學(xué)器件可能會提供不同的SKU。但對于企業(yè)而言，由于頭顯支持實現(xiàn)員工共享，所以產(chǎn)品需要適配廣泛的IPD范圍。

角分辨率接近20/20視敏度（注視點區(qū)域至少為每度45像素），而外圍視場區(qū)域則可適當(dāng)降低每度像素數(shù)。

零紗窗效應(yīng)（高像素填充系數(shù)和高PPD），沒有Mira偽影。

通過高亮度和高對比度實現(xiàn)HDR（MEMS掃描儀和OLED/iLED等發(fā)光顯示器 vs LCOS和LCD等非發(fā)光顯示器）。

偽影最小化（《1％）。

不受限的200度以上透視外圍視場（支持戶外用例，這對國防和土木工程特別有用）。

主動調(diào)光（均勻快門或柔和邊緣調(diào)光）。

基于精確/通用眼動追蹤的視覺舒適度功能包括：

通過利用差分眼動追蹤數(shù)據(jù)進行的聚散追蹤，可以緩解位于注視點圓錐體中的近距離對象的視覺輻輳調(diào)節(jié)沖突（因為視覺調(diào)節(jié)是視覺輻輳的觸發(fā)器）。

適用于大視場光學(xué)器件的有源瞳孔游離校正。

用于增加全息圖不透明度（更真實）的有源像素遮擋（硬邊緣遮擋）。

額外的視覺舒適度和視覺增強功能包括：

具有球面和像散屈光度的有源視力障礙矯正。

如果視覺輻輳調(diào)節(jié)沖突緩解架構(gòu)不產(chǎn)生光學(xué)模糊，則渲染模糊將添加到3D提示并改善3D視覺體驗（例如色度模糊）。

顯示器關(guān)閉時的超級視覺功能，如放大鏡或雙目望遠鏡視覺功能。

4.2 顯示沉浸感

沉浸感是實現(xiàn)終極MR體驗的另一個關(guān)鍵因素，而且它不僅僅只是基于視場：視場是2D角度概念，沉浸感視場是3D概念，包括與用戶眼睛的Z距離和支持臂展顯示交互）。

用戶沉浸式體驗包含眾多方面：

廣角視場，包括每度像素數(shù)較少，色深較低的外圍顯示區(qū)域。

固定注視點渲染和動態(tài)注視點渲染。

通過深度圖掃描儀實現(xiàn)的世界鎖定全息圖和全息圖遮擋。

世界鎖定的空間音頻。

通過專用傳感器進行精確的手勢感應(yīng)。

觸覺

圖4總結(jié)了在沉浸式體驗和穿戴舒適度/視覺舒適度融合的前提下，能夠令分析師對VR/AR/MR/智能眼鏡市場感到樂觀的主要要求。

圖4：終極MR體驗的舒適度和沉浸感要求

圖4中的深灰色項是下一代MR頭顯的關(guān)鍵光學(xué)技術(shù)：快速，精確和通用的眼動/瞳孔/注視點追蹤器。

4.3 臨場感

我們認(rèn)為沉浸感是一種多感官幻覺（顯示器，音頻，觸碰等）。MR的臨場感是一種意識狀態(tài)，亦即頭顯佩戴者真正相信自己置身于不同的環(huán)境之中。沉浸感能夠產(chǎn)生臨場感。

但為了實現(xiàn)栩栩如生的臨場感，我們需要解決頭顯面臨的各種關(guān)鍵挑戰(zhàn)，不僅僅只是顯示器（刷新率，視場，角度分辨率，視覺輻輳調(diào)節(jié)沖突，邊緣遮擋和HDR等等等），同時包括各種傳感器（六自由度頭部追蹤器，深度映射傳感器，空間映射傳感器，眼動/瞳孔/注視點追蹤器，手勢傳感器等等等）。MR的目標(biāo)是創(chuàng)造高度臨場感，令用戶確信自己正置身于另一個（虛擬）環(huán)境之中。

5. 人類因素

為了設(shè)計一種能夠?qū)崿F(xiàn)上節(jié)所述的終極MR舒適度和沉浸感體驗的顯示架構(gòu)，我們需要將光學(xué)設(shè)計視為以人為中心的任務(wù)。本節(jié)主要分析了人類視覺系統(tǒng)的特定細(xì)節(jié)，以及如何利用它來減少光學(xué)硬件和軟件架構(gòu)的復(fù)雜性，同時又不以任何方式降低用戶的沉浸感和舒適度。

5.1 人類視覺系統(tǒng)

由于高視錐密度，僅覆蓋2-3度，并且偏離視線約5度，中心凹的分辨力最大。中心凹是早期視覺體驗的結(jié)果，并且從小就成長為一個獨特的區(qū)域。

視距和光軸

人類視力情況是基于視網(wǎng)膜的視錐和視桿密度，如圖5所示。光軸略微偏離視距5度左右（靠近視軸），并且與視網(wǎng)膜中心凹的位置重合。盲點（視神經(jīng)所在位置）偏離中心凹中心約18度。

圖5：左邊是視錐和視桿細(xì)胞密度，右邊是光軸和視距

需要注意的是，中心凹在早年會根據(jù)特定的人類視覺行為而緩慢生長，與我們出生時視覺系統(tǒng)特征不同。所以，由于與人類數(shù)千年來的進化完全不同的新穎視覺行為，中心凹的位置可能會漂移到視網(wǎng)膜的新位置，例如幼兒近距離握持小型數(shù)字顯示器。另一個重大的變化是由相同原因引起的兒童早期近視。

橫向色差（Lateral Chromatic Aberrations或LCA）

色差因為菲涅爾圓環(huán)，光柵或傳統(tǒng)反射性透鏡的顏色分離所致，橫向色差中的“橫向”包含“橫向”和“縱向”，其中不同的顏色聚焦在不同的深度，具體取決于透鏡的Abbe V值。反射光學(xué)器件不產(chǎn)生LCA，所以在AR顯示領(lǐng)域得到了廣泛的應(yīng)用。

LCA一般是通過軟件進行校正，方法是在場序模式下預(yù)先補償每個彩色幀，或者在RGB顯示面板中預(yù)先補償整個彩色圖像（等效于三個失真圖補償，每種顏色一個）。但是，這可能會導(dǎo)致顯示偽影，如顏色混疊，并且需要高角度分辨率才能達到合理效果。光學(xué)色散補償是一種更優(yōu)的方法，但需要更復(fù)雜的光學(xué)器件（混合折射衍射）或?qū)ΨQ耦合結(jié)構(gòu)（可見于使用光柵或全息耦合器的波導(dǎo)組合器），或者用反射光學(xué)器件代替折射光學(xué)器件。

一種重要的偵測器是人眼，所以分析人眼的自然LCA擴散同樣非常有趣，而結(jié)果是出奇的強。圖6是測量的人眼LCA（左邊為過去50年的測量總和），其在可見光譜產(chǎn)生了2個屈光度；圖6同時說明了彩色圖像在視網(wǎng)膜，軸上和軸外的顯示方式（中間）。右邊是視覺皮層處理后的用戶“所見”。

圖6：人眼的自然LCA

人眼的自然LCA同時是數(shù)字渲染3D深度線索（稱為“Chromablur/色彩模糊度”）的基礎(chǔ)。取決于它們出現(xiàn)在白色對象的哪一側(cè)，藍色和紅色模糊（光學(xué)或渲染模糊）可以分辨遠焦與近焦，從而為動眼肌提供視覺調(diào)節(jié)變化的信息，從而重新聚焦圖像（即圖像的綠色部分聚焦在視網(wǎng)膜上）。

不同人之間的LCA略有不同：所以，用外部光學(xué)器件來增加或減少光譜擴散來稍微改變自然LCA不會顯著影響視力。但如果視場一部分具有特定的LCA（AR中的透視），而另一部分具有不同的LCA（AR中的數(shù)字圖像），則這可能會導(dǎo)致視覺不適。

中心凹及外圍區(qū)域的視敏度

測量的人眼多色MTF（Modulation Transfer Function；調(diào)制傳遞函數(shù)）請參見圖7。所述MTF主要表示軸上視場的明視覺，其接近以中心凹為中心的視距區(qū)域（偏移約3到5度）。

圖7：不同瞳孔直徑的人眼多色調(diào)制傳遞函數(shù)

我們將眼睛分辨細(xì)小特征的能力稱為“視敏度”。青壯年可以分辨出黑白線條交替的圖案，小至一弧分（每度30個周期或60 PPD）。這同時是20/20視覺的定義。少數(shù)人能夠區(qū)分較小的圖案（具有較高的MTF），但我們大多數(shù)人會將其視為灰色陰影（MTF較低，低于0.1）。

對于所有瞳孔大小，MTF為20/20的明視覺高于30％，只有超過5mm的暗視覺才會令MTF降到較低水平。

請注意，MTF50（低頻時為MTF的50％）或MTF50P（峰值時為MTF的50％）是出色的指標(biāo)，但主要用于相機。人眼，尤其是不斷移動的人眼，其依然可以在30％MTF的水平下很好地分辨出特征。與相機不同的是，眼睛的MTF會在低頻下降（主要是這樣的低頻缺乏運動）。

由于人眼的高像差影響，瞳孔尺寸越大，則產(chǎn)生的MTF越低，這與受衍射限制的高端相機不同（MTF會隨著光圈增加）。有趣的是，當(dāng)瞳孔增加明視覺時，較高的空間頻率實際上是可以區(qū)分，從而能夠在較暗的視場中實現(xiàn)超過20/20的視力。

這表示，人類視覺系統(tǒng)不能像相機那樣簡單局限于純光學(xué)特性，而是將其作為計算成像系統(tǒng)（其中CPU當(dāng)成視覺皮層）。上一節(jié)中討論的LCA就是證明。

人類視場的細(xì)節(jié)

圖9說明了人類雙目視覺系統(tǒng)的不同角度區(qū)域的水平延伸。盡管整體視場水平跨度超過220度，但在大多數(shù)情況下，雙目范圍僅跨120度（取決于鼻子的幾何形狀）。然而，立體視覺（提供3D深度線索的左右單目視覺融合）受到限制（+/-40度）。

圖8：人類視場（水平和垂直）

圖9：具有固定注視點區(qū)域的人類雙目視場，包括不受約束的眼球運動，可以支持持續(xù)注視和視覺調(diào)節(jié)

垂直視場的大小與水平視場相似，并且向下偏離標(biāo)準(zhǔn)視距大約15度。

人眼視場是一個動態(tài)概念，最好的描述是受約束和不受約束的眼睛運動范圍時（不受約束：不會產(chǎn)生眼睛疲勞并允許穩(wěn)定注視和隨后的視覺調(diào)節(jié)反射）。盡管機械式眼球運動范圍可能很大（+/- 40度），但可以在不引起頭部旋轉(zhuǎn)反射的情況下進行不受約束的眼部運動要小得多，并且只覆蓋大約+/- 20度視場。這反過來定義了靜態(tài)注視點區(qū)域，視場為40到45度。圖9是雙目視場，即左右視場的重疊。

圖10：對于當(dāng)前最先進技術(shù)的智能眼鏡，AR，MR和VR頭顯，其視場一般覆蓋于雙目視覺和固定注視點顯示區(qū)域。

雙目視場是一個相當(dāng)大的區(qū)域，水平對稱，垂直非對稱，在上+55度和下-30度的范圍內(nèi)，跨度為+/- 60度，而中下區(qū)域同樣達到-60度，但位于35度全角的較小水平跨度。白色圓圈是固定注視點區(qū)域，這同時定義了當(dāng)今大多數(shù)高端AR/MR設(shè)備的對角視場狀態(tài)（提供了100％的立體視場重疊）。 另外，對于給定的注視角度，顏色識別跨越+/- 60度視場，形狀識別跨越+/- 30度視場，文本識別跨越+/- 10度視場。

5.2 顯示硬件適配人眼視覺系統(tǒng)

圖11是各種頭顯的視場。標(biāo)準(zhǔn)VR頭顯（Oculus CV1，HTC Vive，PSVR，WMR）的視場都圍繞著110度對角線，其他（小派和StarVR）則能擴展至200度視場。大手機面板顯示器和自由空間組合器（Meta2，DreamGlass，Mira AR和Leap Motion）可以實現(xiàn)高達90度的大視場，而高端AR/MR系統(tǒng)則采用微型顯示屏，如微軟HoloLens V1和Magic Leap One。智能眼鏡的視場通常是10到15度（蔡司“Tooz”智能眼鏡，谷歌眼鏡，North Focals），25度和最高50度（Vuzix Blade，Digilens，Optinvent ORA，Lumus DK50，ODG R9）。

圖11：VR，智能眼鏡和AR頭顯的顯示視場和透視視場。

對于VR系統(tǒng)，由于沒有透視，所以顯示的視場可以相當(dāng)大，從110到150到最大的200+視場（小派或StarVR）。對于智能眼鏡，受側(cè)向顯示臂的阻礙，其偏心顯示視場為15度。對于Magic Leap One，由于眼鏡圓形機械外殼而造成的隧穿效應(yīng)將透視視場大大降低，減少到大約70度的圓錐形，而顯示器的視場為50度。對于Hololens V2，橫向透視（或透視）視場等于220度的自然人類視場，而對角線視場則為52度，覆蓋大部分中心凹區(qū)域，上方視場被用于固定傳感器條，激光/MEMS顯示引擎和系統(tǒng)板的機械外殼所覆蓋，下上視場沒有限制。 HoloLens V2的另一個特殊之處是，你能夠向上翻轉(zhuǎn)顯示面罩并顯示完全無遮擋的視圖。為優(yōu)化頭顯光學(xué)架構(gòu)以實現(xiàn)大視場，我們必須考慮圖9所描述的各視場區(qū)域，從而避免國過度設(shè)計系統(tǒng)。通過在光學(xué)設(shè)計過程中實現(xiàn)“以人為中心的優(yōu)化”，我們可以在分辨率，MTF，像素密度，色深和對比度方面實現(xiàn)與人類視覺系統(tǒng)非常匹配的系統(tǒng)。

5.3 感知分辨率和視場

AR/VR系統(tǒng)的要旨是人眼視覺系統(tǒng)的感知視場和感知分辨率：其中分辨率是感知規(guī)格（主觀）而非科學(xué)測量的規(guī)格（客觀）。

例如，在不增加GPU渲染負(fù)擔(dān)的情況下提升感知分辨率的一種方法是，簡單地復(fù)制物理面板的像素。最新版本的三星WMR（2018版）就采用了這種方法，其中顯示管道以616ppi的速度渲染和驅(qū)動顯示器，而最終的物理顯示達到1233ppi。事實證明，這樣做可以減少紗窗效應(yīng)并提高用戶的感知分辨率。

感知的視場跨度同樣可能是主觀感受，尤其是對于AR系統(tǒng)而言。顯示器的質(zhì)量（高MTF，高分辨率，沒有紗窗效應(yīng)和Mura效果，減少的鋸齒和運動模糊）有助于令人認(rèn)為感知視場大于類似的顯示架構(gòu)。用戶對視場的感知是自然透視視場與虛擬圖像質(zhì)量的結(jié)合。

6. 總結(jié)

這篇本文是對EDO19會議“數(shù)字光學(xué)技術(shù)”的介紹（這個大會專門針對AR/VR和MR系統(tǒng)的數(shù)字光學(xué)，包括顯示，成像和傳感器）。我們介紹了AR/VR/MR光學(xué)領(lǐng)域，并回顧了AR/VR/MR光學(xué)設(shè)計的最重要標(biāo)準(zhǔn)：將光學(xué)性能與人類視覺系統(tǒng)相匹配。我們可以通過本次大會講解的所有數(shù)字光學(xué)元件來做到這一點：自由空間光學(xué)元件，波導(dǎo)光學(xué)元件（波導(dǎo)組合器），衍射，全息和超表面光學(xué)元件，可調(diào)，可切換和可重新配置的光學(xué)元件，以及用于顯示和成像的新穎計算技術(shù)。