關(guān)注云服務(wù)市場(chǎng)的讀者朋友想必都知道，雖然芯片市場(chǎng)早已有著英特爾、AMD、英偉達(dá)、高通、聯(lián)發(fā)科技等諸多強(qiáng)有力的廠商，但是近年來(lái)針對(duì)某些應(yīng)用，越來(lái)越多的云服務(wù)商開(kāi)始推出自研芯片。

那么問(wèn)題就來(lái)了：究竟是什么樣的原因，讓這些云服務(wù)商走上了定制芯片的道路？與大家熟知的傳統(tǒng)芯片相比，這些定制芯片究竟擁有哪些優(yōu)勢(shì)？對(duì)于芯片市場(chǎng)而言，這種變化又預(yù)示著怎樣的未來(lái)？

作為亞馬遜云科技EC2產(chǎn)品管理總監(jiān)，Chetan Kapoor主要負(fù)責(zé)人工智能、機(jī)器學(xué)習(xí)、高性能計(jì)算、圖像處理、游戲開(kāi)發(fā)等業(yè)務(wù)。在2022亞馬遜云科技re:Invent全球大會(huì)現(xiàn)場(chǎng)，趣味科技通過(guò)對(duì)Chetan Kapoor的采訪，逐一揭曉了以上問(wèn)題的答案。

亞馬遜云科技的三類計(jì)算服務(wù)

在計(jì)算領(lǐng)域，亞馬遜云科技的產(chǎn)品與服務(wù)主要有三個(gè)大的分類。

1、按需索?。阂訟mazon EC2為代表。Amazon EC2的核心能力，就是將重要資源分離開(kāi)來(lái)并按需交給客戶?？蛻魺o(wú)需在本地進(jìn)行硬件堆砌，只需使用一個(gè)API或者在亞馬遜云科技的控制臺(tái)發(fā)出計(jì)算資源請(qǐng)求后，即可向客戶提供所需的服務(wù)。

2、無(wú)服務(wù)器：以Amazon Lambda系列為代表。該系列產(chǎn)品是一種無(wú)服務(wù)器計(jì)算組件，客戶無(wú)需管理計(jì)算資源，只需提供相關(guān)代碼并允許亞馬遜云科技執(zhí)行代碼，亞馬遜云科技就會(huì)圍繞該代碼提供一系列的相關(guān)應(yīng)用，客戶只需做好應(yīng)用即可。

3、容器計(jì)算：容器化計(jì)算的所有應(yīng)用都是基于容器，亞馬遜云科技提供了一系列可以幫助客戶開(kāi)發(fā)容器化應(yīng)用的服務(wù)；Amazon Fargate則讓客戶只需要?jiǎng)?chuàng)建容器，給出指令“這是我的容器，運(yùn)行它”即可。

亞馬遜云科技的自研芯片之旅

Chetan Kapoor透露，之前亞馬遜云科技在很長(zhǎng)時(shí)間里都是用英特爾、英偉達(dá)、AMD等合作伙伴的芯片，譬如Amazon EC2就是基于英特爾提供的芯片開(kāi)發(fā)的，在機(jī)器學(xué)習(xí)領(lǐng)域采用了英偉達(dá)的GPU效果也非常不錯(cuò)。然而后續(xù)亞馬遜云科技也不斷收到客戶的積極反饋，希望能夠有更加細(xì)化的產(chǎn)品服務(wù)可供選擇，幫助客戶圍繞某些應(yīng)用降本增效，提升性能，以及更好地匹配應(yīng)用需求。

“十年前亞馬遜云科技開(kāi)始做自研芯片，剛開(kāi)始是Amazon Nitro虛擬化芯片，后面又開(kāi)始打造Amazon Graviton CPU芯片。過(guò)去的四到五年里，我們的重點(diǎn)都是持續(xù)構(gòu)建芯片來(lái)加速人工智能和機(jī)器學(xué)習(xí)應(yīng)用的開(kāi)發(fā)。”Chetan Kapoor介紹道，亞馬遜云科技的自研芯片之旅是從開(kāi)發(fā)Amazon Nitro芯片開(kāi)始，它是幫助用戶卸載虛擬化工作負(fù)載的專用芯片。通常硬件虛擬化的主要方式是讓虛擬化軟件在同一臺(tái)服務(wù)器上運(yùn)行，支持客戶的工作負(fù)載。假設(shè)客戶的服務(wù)器是48核心，那么大概需要預(yù)留10%-15%的算力來(lái)運(yùn)行虛擬化軟件。而Amazon Nitro是有自己獨(dú)立CPU的芯片，具備單獨(dú)完成虛擬化的能力，服務(wù)器就不需要承擔(dān)虛擬化軟件的資源開(kāi)銷，可以給客戶交付更高性能的實(shí)例（云主機(jī)）。從此，亞馬遜云科技就走上了定制芯片之路，也開(kāi)始開(kāi)發(fā)通用處理器，其中第一個(gè)版本就是4年前推出的Amazon Graviton。

除此之外，人工智能與機(jī)器學(xué)習(xí)也是客戶向亞馬遜云科技反饋較多的領(lǐng)域，尤其是當(dāng)前深度學(xué)習(xí)模型的應(yīng)用普及非常迅速，每年都會(huì)有十幾倍的增長(zhǎng)，訓(xùn)練這些深度學(xué)習(xí)模型需要消耗大量算力和成本，讓許多企業(yè)不堪重負(fù)。為了幫助客戶降低成本，亞馬遜云科技開(kāi)始進(jìn)行自研深度學(xué)習(xí)推理芯片的開(kāi)發(fā)，發(fā)布的第一款芯片就是2019年推出的Amazon Inferentia。隨后亞馬遜云科技又再接再厲推出了Amazon Trainium，主要針對(duì)機(jī)器學(xué)習(xí)訓(xùn)練工作負(fù)載。

在亞馬遜云科技2022 re:Invent全球大會(huì)上，亞馬遜云科技高級(jí)副總裁Peter DeSantis重磅發(fā)布了Nitro v5，其晶體管數(shù)量是前一代產(chǎn)品的2倍，提供了更多的計(jì)算性能，同時(shí)帶來(lái)了50%的DRAM內(nèi)存性能提升，2倍的PCle 帶寬提升，每秒數(shù)據(jù)包速率（PPS） 提高60%，延遲改善30%，每瓦性能提高40%。亞馬遜云科技CEO Adam Selipsky也在會(huì)上發(fā)布了下一代Amazon Inferentia2（簡(jiǎn)稱Inf2），與Inf1實(shí)例相比可提供高3倍的計(jì)算性能、高4倍的吞吐量和低10倍的延遲。

定制芯片性能高成本低的奧秘

為什么與商用芯片相比，定制芯片既可以做到非常高的性能，又能夠做到非常低的成本？

Chetan Kapoor揭曉了其中的奧秘：“因?yàn)閷Ｓ眯酒堰\(yùn)算能力都給到了客戶，極大地提升了效率。以剛才介紹的Amazon Nitro為例，Nitro的特殊之處在于獨(dú)立性，整個(gè)虛擬化是在獨(dú)立的芯片和服務(wù)器運(yùn)行，因此可以讓客戶得到服務(wù)器100%的算力資源，這也意味著客戶得到的計(jì)算性能更高、成本更低。”

在Amazon Nitro芯片研發(fā)取得成功之后，亞馬遜云科技就開(kāi)始著手研發(fā)自己的處理器，希望能夠幫助客戶降低成本，提升效率。事實(shí)也證明，Amazon Graviton2的同規(guī)格實(shí)例性價(jià)比提升高達(dá)40%。而在人工智能與機(jī)器學(xué)習(xí)領(lǐng)域，亞馬遜云科技也專門(mén)研發(fā)了針對(duì)機(jī)器學(xué)習(xí)推理的芯片，可以帶來(lái)更好的性能、更低的成本以及更強(qiáng)的機(jī)器學(xué)習(xí)推理能力。與Amazon Graviton帶來(lái)的收益類似，客戶可以看到亞馬遜云科技提供的機(jī)器學(xué)習(xí)芯片無(wú)論是用于模型訓(xùn)練還是日常生產(chǎn)，性價(jià)比都要比其他同類產(chǎn)品高出40%-50%。

在2022亞馬遜云科技re:Invent全球大會(huì)上，亞馬遜云科技高級(jí)副總裁Peter DeSantis還發(fā)布了Amazon Graviton3E 芯片以及高性能計(jì)算實(shí)例HPC7g、C7gn，與現(xiàn)有的Graviton系列產(chǎn)品相比，新的Amazon Graviton3E芯片無(wú)論是性能還是精度都有著更高的提升，其中對(duì)依賴矢量計(jì)算指令的工作負(fù)載其性能提高了35%。

定制芯片將會(huì)成為未來(lái)主流

從2006年3月14日亞馬遜云科技發(fā)布第一個(gè)云存儲(chǔ)服務(wù)Amazon Simple Storage Service（簡(jiǎn)稱S3）至今，云計(jì)算已經(jīng)走過(guò)了16年的發(fā)展歷程。然而在Chetan Kapoor看來(lái)，其實(shí)一切還只是剛剛開(kāi)始：“如今許多傳統(tǒng)行業(yè)，包括金融和醫(yī)療等很多都還處于上云的初級(jí)階段，很多企業(yè)還在用自建的數(shù)據(jù)中心，因此云計(jì)算在未來(lái)還有著非常廣闊的發(fā)展前景。”

而對(duì)于定制芯片的未來(lái)，亞馬遜全球副總裁兼CTO Werner Vogels博士有著這樣的預(yù)測(cè)：“2023年定制芯片的使用將迅速增加。因此，隨著工作負(fù)載將利用硬件優(yōu)化來(lái)最大限度地提高性能，同時(shí)降低能耗和成本，創(chuàng)新的步伐將會(huì)進(jìn)一步加快?！?/p>

Werner Vogels博士指出，在消費(fèi)技術(shù)行業(yè)，定制芯片和定制硬件因?yàn)樵谛阅苌系娘@著提升而獲得了迅速發(fā)展，但是商業(yè)應(yīng)用程序和系統(tǒng)的情況卻并非如此。然而隨著定制芯片的普及和采用，這種情況將在未來(lái)幾年迅速發(fā)生改變。亞馬遜云科技近年來(lái)之所以在芯片設(shè)計(jì)上投入大量資金，正是因?yàn)閬嗰R遜云科技知道客戶的工作負(fù)載在定制芯片上運(yùn)行，會(huì)具有更好的性能以及更高的成本效益。

“以機(jī)器學(xué)習(xí)工作負(fù)載為例，未來(lái)幾年越來(lái)越多的工程師將會(huì)看到將工作負(fù)載轉(zhuǎn)移到專為模型訓(xùn)練（Amazon Trainium）和推理（Amazon Inferentia）設(shè)計(jì)的芯片所帶來(lái)的好處。通過(guò)使用基于Trainium的實(shí)例實(shí)現(xiàn)約50%的訓(xùn)練成本節(jié)省，或者使用基于Inferentia2的實(shí)例實(shí)現(xiàn)50%的每瓦特性能提升，工程師和企業(yè)都會(huì)注意到，我們將開(kāi)始工作負(fù)載的大規(guī)模遷移。而在性能提升以及成本節(jié)約上的巨大優(yōu)勢(shì)，也將帶來(lái)更多的實(shí)驗(yàn)、創(chuàng)新以及應(yīng)用，并最終為其他特定工作負(fù)載提供更多的定制芯片，從而形成一個(gè)良性循環(huán)。”Werner Vogels博士表示。

審核編輯 ：李倩