在前不久的 Baidu Create 2019 百度 AI 開(kāi)發(fā)者大會(huì)上，Apollo 發(fā)布了業(yè)內(nèi)首創(chuàng)的 AVP 專(zhuān)用車(chē)載計(jì)算平臺(tái)——百度 AVP 專(zhuān)用量產(chǎn)計(jì)算單元 ACU-Advanced。這是一篇“硬核”的技術(shù)文章。正是這些后臺(tái)的“硬核”技術(shù)，成就了令人炫目的自動(dòng)駕駛。本文中介紹的相關(guān)技術(shù)已經(jīng)落實(shí)在 Valet Parking 產(chǎn)品中的量產(chǎn) ACU 硬件上。

人工智能技術(shù)是自動(dòng)駕駛的基礎(chǔ)，算法、算力和數(shù)據(jù)是其三大要素。本文探討的就是其中的“算力”。算力的高低，不僅直接影響了行駛速度的高低，還決定了有多大的信息冗余用來(lái)保障駕駛的安全。算力最直觀地體現(xiàn)在硬件上，而汽車(chē)對(duì)自動(dòng)駕駛的控制器有特殊的要求。實(shí)踐中遇到的挑戰(zhàn)是，多種多樣的加速需求和有限的硬件資源的矛盾。需求的來(lái)源既包括深度學(xué)習(xí)前向推測(cè)、也包括基于規(guī)則的算法。硬件資源受限包括了：FPGA 資源受限和內(nèi)存帶寬受限。

算法工程師采用浮點(diǎn)數(shù) float32 對(duì)模型進(jìn)行訓(xùn)練，產(chǎn)出的模型參數(shù)也是浮點(diǎn)型的。然而在我們使用的 FPGA 中，沒(méi)有專(zhuān)用的浮點(diǎn)計(jì)算單元，要實(shí)現(xiàn)浮點(diǎn)數(shù)計(jì)算，代價(jià)很大，不可行。使用 int8 計(jì)算來(lái)逼近浮點(diǎn)數(shù)計(jì)算，也即實(shí)現(xiàn)量化計(jì)算，這是需要解決的第一個(gè)問(wèn)題。

在量化前，需要完成1000000次 float32 的乘法。量化成 int8 后，需要完成1000000次 int8 的乘法，和30000次量化、反量化乘法。由于量化和反量化占的比重很低，量化的收益就等于 int8 取代 float32 乘法的收益，這是非常顯著的。

FPGA 片上存儲(chǔ)非常受限，對(duì)于絕大多數(shù)的算子，不可能將輸入或者輸出完整緩存到片上內(nèi)存中。而是從內(nèi)存中一旦讀取足夠的數(shù)據(jù)，就開(kāi)始計(jì)算。一旦計(jì)算到足夠多，就立即把結(jié)果寫(xiě)到內(nèi)存。和內(nèi)存數(shù)據(jù)的流式交互是個(gè)公共的需求，我們開(kāi)發(fā)了能兼顧所有算子的 DMA 的接口。

只有對(duì)于單次計(jì)算耗時(shí)很長(zhǎng)、或調(diào)用非常頻繁的獨(dú)立任務(wù)算子，我們才為其定制單獨(dú) DMA 的模塊，取得的收益是，這個(gè)算子可以通過(guò)多線(xiàn)程調(diào)度和其它 FPGA 算子并行計(jì)算。這是綜合收益和代價(jià)后，做出的以資源換時(shí)間的折衷。

Int8 的計(jì)算，可以使用 DSP 或其它邏輯資源來(lái)完成。邏輯資源有更多的用途，所以我們占用 DSP 來(lái)完成 int8 的乘累加計(jì)算。FPGA 內(nèi)部的 DSP48E2 可以接受 27bit 的乘數(shù)?？梢园褍蓚€(gè) int8 的乘數(shù)排列在高 8bit 和低 8bit，進(jìn)行一次乘法后，再兩個(gè)乘積完整的分離出來(lái)。這樣，就實(shí)現(xiàn)了單個(gè) DSP 一個(gè)時(shí)鐘周期完成了兩個(gè)乘法，達(dá)到了算力倍增的效果。

Deconv 和 conv 是網(wǎng)絡(luò)中計(jì)算量最大的兩個(gè)算子，計(jì)算資源復(fù)用收益很大。但它們計(jì)算形式上差別很大，直接復(fù)用計(jì)算資源很困難。我們?cè)诶碚撋线M(jìn)行突破，實(shí)現(xiàn)了通用的資源復(fù)用的方法。簡(jiǎn)言之，SDK 要對(duì) conv 的計(jì)算參數(shù)進(jìn)行擴(kuò)充以兼容 deconv，在計(jì)算 deconv 時(shí)，需要對(duì)卷積核進(jìn)行分拆、重排，偽裝成 conv。FPGA 計(jì)算完畢后，增加少量邏輯對(duì)結(jié)果進(jìn)行修飾。

ARM 計(jì)算：有些算子，比如多通道的 softmax、concat、split 等，出現(xiàn)頻率很低，數(shù)據(jù)量不大，對(duì)整體幀率影響很小，還有些算子比如 PSRoiPooling、計(jì)算區(qū)域不確定、數(shù)據(jù)不能保證對(duì)齊，非常不適合 FPGA 加速。把這兩類(lèi)算子放在 ARM 上實(shí)現(xiàn)。在 ARM 上對(duì)計(jì)算影響最大的單個(gè)因素是緩存命中率。通過(guò)數(shù)據(jù)重排、改變遍歷順序等，提高緩存命中率，可以把表觀 ARM 算力提高幾十倍。

NEON 加速：采用 NEON 指令可以對(duì)多通道的 Softmax 算子有效加速，加速比雖然不及 FPGA，但相對(duì)于直接采用未優(yōu)化的 C++ 的代碼在 ARM 上執(zhí)行，效果可以提升數(shù)倍。其它對(duì)齊的計(jì)算，大多可以通過(guò) NEON 處理器加速數(shù)倍。

MaliGPU：我們目前使用 Xilinx ZU 系列的 FPGA，自帶 MaliGPU 400，原本被設(shè)計(jì)用來(lái)顯示時(shí)渲染，并不支持 CUDA、OpenCL 等常用庫(kù)。經(jīng)過(guò)特殊的驅(qū)動(dòng)方式，我們做到可以利用它實(shí)現(xiàn)一些受限的逐像素算子。我們實(shí)際計(jì)算使用的硬件資源包括了 FPGA、MaliGPU、ARM 主處理器、ARM Neon 協(xié)處理器4種。通過(guò) ARM（主處理其和協(xié)處理器）和 MaliGPU 實(shí)現(xiàn)對(duì)部分算子進(jìn)行承接，有效緩解了 FPGA 的資源壓力。

而采用動(dòng)態(tài)量化，搜索量化尺度和進(jìn)行量化，需要分散在相鄰的兩個(gè)算子中實(shí)現(xiàn)。為了保證精度，中間結(jié)果需要以半浮點(diǎn)（float16）形式表示。這帶來(lái)兩個(gè)問(wèn)題：CPU 并不能直接對(duì) FP16 的數(shù)據(jù)進(jìn)行轉(zhuǎn)換或計(jì)算，所以需要 FPGA 提供額外的算子，提供快速的 float32 / int8 和 float16 轉(zhuǎn)換。這些額外的算子，是 CNN 本身不需要的，這構(gòu)成了浪費(fèi)。Float16 需要的緩存比 int8 大了一倍。浪費(fèi)了 FPGA 的存儲(chǔ)資源。

而靜態(tài)量化，離線(xiàn)提供了固定的量化參數(shù)，中間計(jì)算結(jié)果以量化后的 int8 形式來(lái)表示。以上的浪費(fèi)都得以避免。盡管靜態(tài)量化對(duì)模型訓(xùn)練做額外的要求，我們最終決定切換到靜態(tài)量化。通過(guò) SDK 將各種參數(shù)進(jìn)行變換和合并，單個(gè) conv 算子可以完成最多支持4個(gè)算子的組合 conv + batchnorm + scale + relu。

靜態(tài)量化降低了內(nèi)存吞吐，這也是我們放棄動(dòng)態(tài)量化易用性的一個(gè)原因。任務(wù)的幀率是峰值算力、各算子算力、支持的算子種類(lèi)三個(gè)因素復(fù)合作用的結(jié)果。以上技術(shù)已經(jīng)用到了 ACU 硬件中，把百度 Valet Parking 產(chǎn)品的幀率在數(shù)量級(jí)上進(jìn)行了提高。接下來(lái)，我們會(huì)陸續(xù)發(fā)布更多這樣的“硬核”技術(shù)文章，讓更多開(kāi)發(fā)者們更加細(xì)致地了解 Apollo 自動(dòng)駕駛背后的技術(shù)。