近日，華為最新一代卓越人工智能手機(jī)芯片麒麟980正式亮相，麒麟980在業(yè)內(nèi)首次搭載雙核NPU，實(shí)現(xiàn)業(yè)界頂級端側(cè)AI算力，將支持更加豐富的AI應(yīng)用場景。在加速端側(cè)AI算力提升的同時，華為不斷追求為用戶帶來體驗(yàn)升級——推出慧眼2.0，深入用戶使用最多的拍照及小視頻應(yīng)用場景進(jìn)行深度優(yōu)化，提供端到端的解決方案。

在IFA 2018現(xiàn)場，麒麟980演示了全新的AI多人姿態(tài)實(shí)時識別能力?；贏I的強(qiáng)勁算力，搭載麒麟980的開發(fā)板能夠?qū)崟r精準(zhǔn)識別多人的骨骼線條，在進(jìn)行揮手、跳躍、舞蹈等大幅動作時，識別出的骨骼線條也會實(shí)時隨身體變化。而這項(xiàng)新奇的體驗(yàn)，與慧眼2.0之間也有著不可分割的聯(lián)系。

慧眼2.0，更智慧的視覺體驗(yàn)

隨著端側(cè)AI技術(shù)的不斷突破與發(fā)展，手機(jī)用戶對AI應(yīng)用的需求也隨之增長。去年，麒麟970的AI技術(shù)推動手機(jī)拍照逐步向“慧眼”階段演進(jìn)，結(jié)合端側(cè)AI的智慧算力，手機(jī)在拍照時能夠識別多種復(fù)雜的拍照場景并自動設(shè)置最佳參數(shù)，輕松拍出大師級的攝影作品，帶給用戶全新的智慧拍照體驗(yàn)。

時隔一年，“慧眼2.0”隨著麒麟980的發(fā)布正式亮相?！盎垩?.0”在手機(jī)視覺入口提供了一個“感知、測量、認(rèn)知、計算”的端到端完整解決方案，人工智能技術(shù)深度參與視覺處理的各個環(huán)節(jié)，通過后臺基礎(chǔ)算法的極大提升和流程優(yōu)化，讓用戶明顯感知到體驗(yàn)的大幅增強(qiáng)。

在慧眼2.0解決方案中，麒麟980的CPU/GPU/DSP/NPU構(gòu)成了底層硬件，為上層的AI圖像處理提供運(yùn)算性能支持。在上層運(yùn)算中，ISP和攝像頭用于收集圖像數(shù)據(jù)，經(jīng)過AI運(yùn)算，能夠?yàn)槭謾C(jī)用戶帶來圖像、視頻及AR方面的應(yīng)用提升，帶來更智慧的視覺體驗(yàn)。上述提到的AI多人姿態(tài)實(shí)時識別，正是通過攝像頭收集人體動作的圖像信息，再經(jīng)過AI實(shí)時運(yùn)算，實(shí)現(xiàn)了與AR相關(guān)的人體姿態(tài)能力，為將來的AI和AR體驗(yàn)開啟無限想象。

攝像頭與ISP優(yōu)化，麒麟980圖像信息收集能力提升

對手機(jī)用戶來說，感受最直觀的AI功能幾乎都離不開攝像頭，無論拍照還是小視頻，AI都需要通過攝像頭獲取圖像信息。在手機(jī)攝影和攝像領(lǐng)域，華為有著多年深厚的技術(shù)積累，早在2014年華為在業(yè)內(nèi)率先推出搭載雙攝像頭的榮耀6 Plus，2016年華為開始與徠卡合作，讓手機(jī)攝像頭開始呈現(xiàn)相機(jī)畫質(zhì)，2018年初發(fā)布的華為P20 Pro更是首創(chuàng)徠卡后置三攝，帶來前所未有的AI攝影大師體驗(yàn)?？梢哉f，在手機(jī)拍照領(lǐng)域，華為始終走在行業(yè)前列，并在這個過程中積累大量圖像算法、鏡頭優(yōu)化以及ISP相關(guān)的豐富經(jīng)驗(yàn)與優(yōu)化能力。

與此同時，麒麟芯片持續(xù)優(yōu)化攝像頭的相關(guān)算法，通過端到端優(yōu)化的方式不斷提升手機(jī)的成像質(zhì)量。麒麟980采用全新升級第四代自研ISP，像素吞吐率較上一代提升46%，支持更多攝像頭，適配多攝像頭帶來的全新拍照體驗(yàn)，分別針對視頻和照片推出延遲視頻處理流水線和高質(zhì)量圖像處理流水線，幫助手機(jī)用戶捕捉更多清晰的圖像內(nèi)容，進(jìn)一步強(qiáng)化圖像信息的收集能力。

端側(cè)AI閉環(huán)架構(gòu)，麒麟980 AI圖像處理能力升級

基于麒麟980業(yè)界最強(qiáng)的端側(cè)AI算力，麒麟980在接收到圖像信息后可以實(shí)時完成多種復(fù)雜的運(yùn)算處理。視頻方面，麒麟980能夠做到人體肢體的檢測與識別，支持區(qū)域分割和主體摳圖和視頻跟蹤追焦等功能，實(shí)時完成逐幀的畫面處理；在處理圖片時，麒麟980能夠?qū)崿F(xiàn)文本識別、圖像超分辨率及RAW圖像降噪、RGB還原等功能，讓用戶明顯感受到AI拍照及攝像的體驗(yàn)提升。在AI圖像處理能力升級的背后，是華為在端側(cè)AI不斷探索完善的計算架構(gòu)，將SoC芯片的強(qiáng)勁AI運(yùn)算力與算法、數(shù)據(jù)以及終端設(shè)備形成完整閉環(huán)，發(fā)揮綜合AI運(yùn)算實(shí)力。

AR能力升級，帶來體驗(yàn)創(chuàng)新

近年來，AR應(yīng)用開始成為智能手機(jī)的亮點(diǎn)功能，用戶可以通過AR在手機(jī)屏幕里看到現(xiàn)實(shí)世界與虛擬世界的結(jié)合，獲得趣味體驗(yàn)。而AR效果的實(shí)現(xiàn)需要結(jié)合麒麟980的算法與AI圖像識別能力，綜合對圖像進(jìn)行處理。麒麟980支持AR應(yīng)用的視頻流特征提取、姿態(tài)估計以及地圖重建，讓更多AR應(yīng)用的落地成為可能。

基于以上能力，慧眼2.0將為廣大手機(jī)用戶帶來全新的拍照及視頻體驗(yàn)，同時面向廣大開發(fā)者開放這一能力，將華為HiAI移動計算架構(gòu)完善的SDK、豐富的API接口、業(yè)界領(lǐng)先的算子支持以及華為開放完整的Camera DDK、AR DDK以及HiAI Foundation完整的開放架構(gòu)，全部提供給開發(fā)者作為工具，讓他們能夠創(chuàng)造出更多豐富的應(yīng)用體驗(yàn)。

麒麟980開放架構(gòu)，助力開發(fā)者探索智慧未來

合作開放一直是華為在推進(jìn)端側(cè)AI發(fā)展的核心理念。麒麟980支持Caffe、Tensorflow、Tensorflow Lite等主流框架，具有強(qiáng)大的深度學(xué)習(xí)框架兼容性，達(dá)到業(yè)界領(lǐng)先水平；提供了離線編譯、在線編譯、8bit量化等一系列完整工具鏈，既可以大大降低端側(cè)模型部署的工程難度，還可以利用NPU差異化優(yōu)勢發(fā)揮出最強(qiáng)算力；支持CPU、GPU、NPU、DSP等的異構(gòu)計算，方便深度學(xué)習(xí)算法在麒麟980的自動靈活調(diào)度執(zhí)行。

在慧眼2.0中，華為面向廣大開發(fā)者及合作伙伴開放多個接口，助力AI應(yīng)用的創(chuàng)新探索：

Kirin Camera DDK：在現(xiàn)有的拍照APP中，經(jīng)常會出現(xiàn)拍照效果失真，甚至在夜晚場景下拍照效果不如手機(jī)自帶相機(jī)的情況。這主要是因?yàn)榈谌紸PP目前是無法調(diào)用手機(jī)自帶相機(jī)的ISP，無法在APP中利用手機(jī)ISP的算法優(yōu)勢。麒麟980全面開放Camera DDK，將前端更好的暗光、高動態(tài)和分辨率能力開放給廣大開發(fā)者，讓第三方APP能夠直接調(diào)用手機(jī)本身的ISP算法，對APP的成像效果進(jìn)行優(yōu)化。

Kirin AR DDK：SLAM（simultaneous localization and mapping，即時定位與地圖構(gòu)建）是對環(huán)境和位置的識別技術(shù)，同時也是AR應(yīng)用開發(fā)的關(guān)鍵。麒麟980支持SLAM算子加速，還能實(shí)現(xiàn)人臉建模及跟蹤能力，可以根據(jù)人體骨架姿態(tài)進(jìn)行估計和跟蹤，在AI人體姿態(tài)估計的demo中已經(jīng)初步展示這一能力。將AR DDK開放給AI應(yīng)用開發(fā)者，能夠帶給AI應(yīng)用更多有趣的方向，如更加豐富的AR特效，以及基于AR技術(shù)的游戲等，讓開發(fā)者能夠盡情施展關(guān)于AR應(yīng)用的想象。

HiAI Foundation：HiAI Foundation是華為基于硬件為廣大開發(fā)者提供的一套開發(fā)AI應(yīng)用的基礎(chǔ)工具，能夠有效解決端側(cè)功耗、計算力等瓶頸，促進(jìn)端側(cè)AI規(guī)模應(yīng)用，在硬件性能、運(yùn)算效率與開發(fā)者服務(wù)方面帶來提升?；邝梓?80的業(yè)界最強(qiáng)端側(cè)AI算力，HiAI Foundation能夠支持147個算子，并開放33個API接口及1000+abilities，對于開發(fā)者來說能夠支持更多AI功能，在圖像識別時也能支持更豐富的場景，真正成為開發(fā)者的實(shí)用工具。

基于華為的端側(cè)AI移動計算架構(gòu)，麒麟980能夠?yàn)閺V大開發(fā)者提供性能更強(qiáng)、操作更簡易的開發(fā)工具，讓更多充滿創(chuàng)意和趣味的AI應(yīng)用落地成為可能，為廣大手機(jī)用戶帶來全新的手機(jī)體驗(yàn)。搭載麒麟980的華為Mate 20系列即將于10月16日在倫敦發(fā)布，屆時將會帶來哪些新奇的AI體驗(yàn)，開發(fā)者又將帶給Mate 20系列的用戶哪些驚喜？值得共同期待。