云計算走向2.0時代,開始成為企業(yè)IT基礎(chǔ)的核心引擎,軟件定義存儲也被賦予了新的角色,成為跨云的橋梁。任意云、任意設(shè)備、任意應(yīng)用、任意數(shù)據(jù),軟件定義存儲,構(gòu)建了云2.0時代數(shù)據(jù)流動的平臺。
12月12日,2018年中國存儲與數(shù)據(jù)峰會“軟件定義存儲”論壇,以“軟件定義,全棧軟件賦能 從核心到邊緣”為主題,邀請VMware大中華區(qū)高級技術(shù)總監(jiān)李剛擔(dān)綱出品人,浪潮存儲產(chǎn)品部副總經(jīng)理孫斌、青云QingCloud 存儲高級技術(shù)專家劉樂樂、群蜂科技CEO王成巍、京東云產(chǎn)品研發(fā)部中間件負(fù)責(zé)人李道兵、中國移動蘇州研發(fā)中心對象存儲研發(fā)工程師余禮楊、XSKY產(chǎn)品營銷總監(jiān)呂磊等嘉賓進(jìn)行分享和探討。
浪潮存儲產(chǎn)品部副總經(jīng)理孫斌發(fā)表了主題為“面向新數(shù)據(jù)的軟件定義存儲”的演講。以下內(nèi)容根據(jù)速記整理,未經(jīng)本人審定。
浪潮存儲產(chǎn)品部副總經(jīng)理孫斌
孫斌:謝謝李剛介紹我上個舞臺。
軟件和硬件在存儲領(lǐng)域,剛剛提到說硬件不斷在翻新、升級軟件怎么樣跟得上,其實(shí)20年前英特爾就一直在埋怨微軟跟不上節(jié)奏。我們做企業(yè)系統(tǒng)的軟件產(chǎn)品,不管哪一個領(lǐng)域哪一個行業(yè)不斷在繁衍。
今天我更多想分享的是,上一周去Gartner關(guān)于數(shù)據(jù)中心的峰會,其客戶有75%是使用IT設(shè)備的用戶,還有25%是IT知名廠商,它左手拿著供應(yīng)商右手拿著客戶,說明設(shè)計游戲規(guī)則Gartner已創(chuàng)造了一個很好的商業(yè)模式,這是我理解的。這是我個人的感受,不知道網(wǎng)上是否有類似的內(nèi)容。
昨天在主論壇我們同事李輝跟大家分享“新時代呼喚新存儲”,剛才李剛總提的“企業(yè)云2.0” 也很契合也很我們這個主題——數(shù)據(jù)峰會,這么多年第一次聽到數(shù)據(jù)峰會。
我們嘗試著做一個歸類,也借鑒了一些第三方機(jī)構(gòu)的數(shù)據(jù),包括福布斯最近兩三年的數(shù)據(jù),有AI的,大家想想AI現(xiàn)在和明天會如何影響我們自己或周邊,還有物聯(lián)網(wǎng)、社交媒體、通信(短信早就過時了,我相信在座的跟我一樣都不發(fā)短信了)。不同的維度,這是傳統(tǒng)的數(shù)據(jù)來源還有新應(yīng)用產(chǎn)生的數(shù)據(jù)的一些特征。看到新數(shù)據(jù)有這樣的來源也好,形態(tài)也好,我們看看應(yīng)用負(fù)載有什么變化。
挑了一個應(yīng)用,人們反復(fù)講的AI應(yīng)用,這是浪潮這兩年的一個積累,我們在國內(nèi)做AI服務(wù)器這塊占比是遙遙領(lǐng)先后面所有的對手,超過他們的總和,所以我們有機(jī)會接觸到公有云服務(wù)商在公有云上的應(yīng)用,以及廠商四小龍,大量的傳統(tǒng)企業(yè),像通信行業(yè)、金融行業(yè)已經(jīng)在大規(guī)模采購跟AI相關(guān)的軟硬件平臺設(shè)備。
這里想說的跟AI有關(guān)的應(yīng)用分哪些數(shù)據(jù)階段,從提取到準(zhǔn)備,包括標(biāo)簽到訓(xùn)練、推理、歸納,不同的階段對存儲的要求是不一樣的,你會看到協(xié)議會有差別,以及I/O的模式,I/O有很多,順利還是隨機(jī),有沒有一個高峰、低谷,還是順順當(dāng)當(dāng)走一個水平線等等。這個更多是來自Gartner數(shù)據(jù)。作為一個企業(yè)看到了這方面應(yīng)用的特征,有的數(shù)據(jù)大家可以記下來。我們認(rèn)為這只會跑得更快,不會跑得更慢。未來四年公司的部署將超過50%,今年只有4%。
今天的主題是軟件定義存儲,這個概念出來估計有十年甚至更長的時間。什么叫軟件定義存儲?超融合也好,分布式存儲也好,有一個特點(diǎn)就是存儲系統(tǒng)都是跑在標(biāo)準(zhǔn)的商業(yè)服務(wù)器上面。這其實(shí)算是軟件定義存儲的一種形態(tài),在五年前你要問一個做IT的估計他也這樣回答,但是這兩年在變化,軟件定義存儲把范圍遠(yuǎn)遠(yuǎn)拉開了。
舉例,把傳統(tǒng)的軟件一體的也算成軟件定義存儲,超融合、分布式也算是,還有正在發(fā)生的新的變化,不管是全球或者國內(nèi)的一些公有云服務(wù)廠商,還有一些新興的存儲廠商以及新興的創(chuàng)業(yè)公司,他們開始把存儲產(chǎn)品變成一種服務(wù)部署在云上面。我們自己的一個看法,在這些軟件定義存儲多種形態(tài)里面,分布式存儲將越來越成為占比越來越高的,其中也有一些Gartner的數(shù)據(jù),現(xiàn)在的企業(yè)數(shù)據(jù)目前是40%存在在橫向擴(kuò)展的存儲中的,40%的數(shù)據(jù)是從容量的角度,3、4年之后是80%。
國內(nèi)的一些大型央企已經(jīng)在發(fā)生這樣的變化,速度很快,每年幾倍增長把非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)放在分布式存儲里面。
分布式存儲未來發(fā)展的一個方向就是真正的私有云,但是這個私有云可能跟一兩年前的那個定義有一些差別,更多是需要具備像今天公有云這樣的彈性,敏捷等等特征,數(shù)據(jù)也好,應(yīng)用也好,都可以在云上云下多云之間順暢流動,為什么企業(yè)要建大量的私有云,把數(shù)據(jù)搬到公有云上,很多國際的企業(yè)從私有云撤下應(yīng)用或者數(shù)據(jù)。Gartner也有一個統(tǒng)計,使用公有云服務(wù)考慮的第一要素是什么,第一投票選擇節(jié)省成本。對主流客戶來說數(shù)據(jù)上云再下云等等是不是像公有云更便宜,第二這個數(shù)據(jù)是不是更放心放在私有云上面。公有云政策下移,沉降到私有云里面,硬件和存儲設(shè)備成本差兩倍,可能一年或者兩年之后,計算硬件和存儲硬件成本相差三倍甚至更多,這樣的問題如何解決? 我們看好分布式存儲,一方面就是剛才分享的及時響應(yīng),第二就是真正的企業(yè)私有云為中心,是有公有云服務(wù)能力的。
說到分布式存儲給大家看一個圖,是Gartner定義的規(guī)則。當(dāng)年一些國有廠商進(jìn)入中國、中國的廠商會問你是不是一個主流廠商,如今當(dāng)我們把產(chǎn)品帶到國外的時候,就像當(dāng)初人家進(jìn)入中國一樣。這是被問到的前三個問題之一。
這里面有兩家中國企業(yè),Gartner為能進(jìn)入四象限的供應(yīng)商定義了大量的準(zhǔn)則,有兩個維度,一個是執(zhí)行力,一個是愿景能力,代表未來的方向。這里面也定義了很多一級、二級的要素。以執(zhí)行力來說,產(chǎn)品和服務(wù)能力分布式存儲,總體反映力是高要求的。愿景能力是對市場的理解,在產(chǎn)品上的創(chuàng)新,尤其是抓住新應(yīng)用上面的創(chuàng)新等等。
這個有浪潮自己的理解,當(dāng)然也有Gartner的一部分,有一個報告叫《關(guān)鍵技術(shù)存儲能力》針對每一個象限,每一個廠商會選擇綜合技術(shù)能力表現(xiàn)較好表現(xiàn)的定義這樣形態(tài)的產(chǎn)品,主要面向哪些應(yīng)用場景。比如說分布式存儲一共定義五大類的應(yīng)用模式也好,應(yīng)用場景也好,包括像大數(shù)據(jù)、高性能計算,列為兩種類型。第五種就是混合云也好,云計算也好在這個基礎(chǔ)上增加了如火如荼的視頻監(jiān)控,可能占了中國整個企業(yè)外部存儲的30%、40%的空間和收入空間。我們看到,國內(nèi)大量的像廣電也有存儲的需求,以及現(xiàn)在還沒有進(jìn)入到Gartner,我們看到快速增長人工智能上的需求。Gartner定義了一共八個技術(shù)能力,包括定價、吸引力、產(chǎn)品安全、部署彈性、性能、效應(yīng)等等,在每一個典型應(yīng)用場景下面,其實(shí)各項(xiàng)關(guān)鍵技術(shù)的要求是不一樣的,有興趣的可以下來到相關(guān)展臺跟我們相關(guān)同事做一個交流。
Gartner定義了大量的標(biāo)準(zhǔn),量化各個企業(yè)給它提供的各種調(diào)研報告里,產(chǎn)品在不同案例以及不同應(yīng)用場景下面各項(xiàng)得分的情況。Gartner全球選出來26家廠商,只有兩家中國廠商,進(jìn)入到四象限的一共16家廠商,進(jìn)入到工業(yè)技術(shù)能力一共7家廠商,浪潮兩個應(yīng)用場景里面,一個是叫大數(shù)據(jù)分析,這和今天的AI應(yīng)用有一定關(guān)聯(lián),另外一個是高性能計算,在這兩個維度上還比較靠前。
這個是在昨天輝總論壇分享的一個場景,分布存儲AS13000,有幾個特征,有一些特征在業(yè)界是數(shù)一數(shù)二的,是我們率先推出來的。
一是同一個硬件用一套軟件架構(gòu)軟件棧能主機(jī)承載四種數(shù)據(jù)服務(wù),包括不同的文件等等,網(wǎng)絡(luò)文件、網(wǎng)絡(luò)協(xié)議以及像與AS3相仿的協(xié)議,塊、文件、對象與大數(shù)據(jù)的對接等等。
二是選擇Openstack,浪潮也推出了自己業(yè)務(wù)的Openstack發(fā)行版,提供了對Openstack多個版本以及最新版本各種插件的支持,這些都開放到社區(qū)里面。
分布式存儲,往往客戶部署很少會看到節(jié)點(diǎn),有這樣特征類似像啞鈴的有不少的客戶,分布式是50個節(jié)點(diǎn)、100個節(jié)點(diǎn)甚至更大規(guī)模幾百個節(jié)點(diǎn)的,對這些客戶來說他們的應(yīng)用場景只要超過塊以上,不管是文件還是對象,訪問的企業(yè)的復(fù)雜度。
我們不斷跟客戶學(xué)習(xí)新的應(yīng)用場景,所以我們提出來“場景化定制”,換句話說就是“研發(fā)即服務(wù)”,讓產(chǎn)品在客戶這樣的應(yīng)用場景下應(yīng)用有限的資源配置,觸發(fā)應(yīng)有的性能也許是可用的空間等等,給客戶創(chuàng)造價值。
有幾個技術(shù)點(diǎn)可以分享。
一個是“多源數(shù)據(jù)零拷貝”,這是技術(shù)工程師起的名字。我們發(fā)現(xiàn),中國存儲產(chǎn)生數(shù)據(jù)源往往有多種,不是像傳統(tǒng)的看到的往往是單一的個位數(shù),而分布式往往是出幾組甚至更大的,不同的業(yè)務(wù)往往會支持已有的協(xié)議或者寫進(jìn)來或者讀出來。
分布式存儲分析處理再加工,有不同新的協(xié)議要進(jìn)來。一組數(shù)據(jù)同一個數(shù)據(jù)做一個轉(zhuǎn)換做一個臨時的空間文本占用,還有一種方式給它戴不同的帽子,不管是用什么樣的網(wǎng)絡(luò)文件協(xié)議寫下的文件,都可以用別的網(wǎng)絡(luò)文件協(xié)議,你能不能用對象模式訪問、能不能用網(wǎng)頁?同樣的數(shù)據(jù)訪問的同時不需要做任何數(shù)據(jù)的轉(zhuǎn)換,這是幾個真實(shí)的生產(chǎn)應(yīng)用里面常發(fā)生的問題,有不少客戶對這樣的特性非常的懷疑。
二是向大家分享性能優(yōu)化。性能優(yōu)化是永久話題。我們2016年推出這個產(chǎn)品以后也在不斷演進(jìn),今天說到的SDS,網(wǎng)絡(luò),網(wǎng)絡(luò)協(xié)議也在變化,看到這樣的數(shù)據(jù)報告,一個遠(yuǎn)程訪問的延遲和當(dāng)?shù)卦L問延遲只相差幾十微秒,基本上跟當(dāng)?shù)匾粯涌?,這樣的新的硬件跟底層協(xié)議的變化,怎么去擁抱它,讓它能為客戶的生產(chǎn)系統(tǒng)充分被利用上來。
我們講的性能優(yōu)化是在原數(shù)據(jù)層面,比較動態(tài),要根據(jù)訪問模式定義一些規(guī)則,對數(shù)據(jù)一定要做分區(qū)。產(chǎn)生的結(jié)構(gòu)是什么好處呢,使得一個分布式存儲系統(tǒng)最少從幾百到幾十個節(jié)點(diǎn)都能工作,跨度確實(shí)很大。
這個是文件聚合,十年前、五年前的一些學(xué)術(shù)方面的論文時不時都會談及,包括現(xiàn)在看到訪問文件協(xié)議常用的SND也好,幾乎每一個五種場景都是使用的網(wǎng)絡(luò)協(xié)議,效率極低。我們曾經(jīng)做過一個測試,用當(dāng)?shù)氐奈募到y(tǒng)模擬出來,同樣去做一樣的擴(kuò)展對比,獲取的每秒超速和使用網(wǎng)絡(luò)系統(tǒng)真的是一個NaasAS,存儲能力一樣,差了將近6倍,這是今年上半年測試結(jié)果。多方面的原因,有些是屬于網(wǎng)絡(luò)文件協(xié)議者本身的設(shè)計,有些NaaSAS性能優(yōu)化是一個持續(xù)的過程。
舉例,比如說針對哪些類型小文件要識別,以什么樣的方式進(jìn)行組合,存儲節(jié)點(diǎn)達(dá)到一些效果,我們以訪問次數(shù)進(jìn)行了一個統(tǒng)計。小文件其實(shí)就是把這個痛往后挪一挪,還有一個挑戰(zhàn)就是接觸過SND,我們也了解過任何一個數(shù)據(jù)結(jié)構(gòu)算法都要做垃圾分工,像平時用的電腦進(jìn)行碎片整理,降低后臺運(yùn)行對前臺的影響。
三是統(tǒng)一管理。以前我們看到的典型的數(shù)據(jù)中心就是一個機(jī)柜,放了幾臺設(shè)備都不滿,現(xiàn)在越來越多的用戶不只是一個機(jī)柜,而是多個機(jī)柜,甚至城市的數(shù)據(jù)中心。如何解決管理設(shè)備問題,以前一個管理員只需管理幾臺設(shè)備,現(xiàn)在要管理幾十上百臺。十年前我在IT行業(yè)經(jīng)常聽到怎么樣提高管理效率,我當(dāng)時笑不存在這個問題,因?yàn)槲覀兊腎T工程師便宜,國外一個IT工程師10萬美金是起薪。今年不便宜了,明年會更貴,光靠他一個人兩只手,24個小時還不夠。
這是怎么樣存儲從應(yīng)用到一個盤之間,存儲協(xié)議之間,所有的邏輯路徑、物理路徑也好,以及設(shè)備各方面的檢測、配備。最近這一年在這個行業(yè)比較熱的就是自有云。有一定的能力,進(jìn)行排查,指導(dǎo)用戶或者二級工程師排查,真正能把這個承載系統(tǒng)運(yùn)行能及時有效地匯總起來,不管是交給客戶數(shù)據(jù)中心,還是供應(yīng)商的數(shù)據(jù)中心,由他們來做后端的數(shù)據(jù)分析,找潛在的問題,及時提供修復(fù)問題的建議,以及還有哪些可以優(yōu)化的地方。
Gartner的一個分析師分享了一個成熟的分布層面的系統(tǒng),周期很長,要7年,這可能是觀察了無數(shù)企業(yè)的結(jié)果,浪潮已經(jīng)跨過第九個年頭,從2008年、2009年承擔(dān)國家項(xiàng)目,當(dāng)時就是海量浪項(xiàng)目,到2016年底推出了自己重構(gòu)第三代存儲系統(tǒng)。這個離不開長期積累。我們已經(jīng)授權(quán)的發(fā)明專利300個,在國際也是名列前茅的,也離不開大量的技術(shù)合作伙伴,我們也積極參與行業(yè)的組織、社區(qū)以及國家、行業(yè)標(biāo)準(zhǔn)建設(shè),比如牽頭海標(biāo)委(海量存儲標(biāo)準(zhǔn)委員會),高校、研究所和供應(yīng)商等一起來研討、制定出臺國家相關(guān)的標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)。
從企業(yè)存儲產(chǎn)品、業(yè)績增長、新增的用戶以及七大業(yè)務(wù)場景(其實(shí)應(yīng)用場景下面還有大量的二級場景的覆蓋),新增多少的合作伙伴,新增多少節(jié)點(diǎn)數(shù)量、容量等(不一定成正比,因?yàn)樵絹碓蕉嗟男枰`活的空間的配置,高密的,也要偏計算型的),七大應(yīng)用場景讓我們收獲和合作伙伴和客戶合作各行業(yè)成功案例,贏得了用戶的認(rèn)可。
主持人:剛才聽了孫總的演講,我覺得國產(chǎn)存儲的技術(shù)發(fā)展非???,因?yàn)閭€人的關(guān)系,我眼見浪潮存儲事業(yè)部一步一步發(fā)展起來,而且有很多核心的技術(shù),另外一點(diǎn)非常好就是提到了研發(fā)即服務(wù)的概念,這個概念特別增強(qiáng)了國內(nèi)廠商的核心競爭能力,更加貼近用戶,很多的功能創(chuàng)新都是來自場景,這個是一個擴(kuò)展加速創(chuàng)新流程的概念。中國加油!
評論