就在前幾天的Storage Filed Day上，VAST DATA公司橫空出世，進(jìn)入公眾視野。這個(gè)存儲(chǔ)的技術(shù)論壇，歷來(lái)是存儲(chǔ)創(chuàng)業(yè)公司做宣傳的第一步，但是在上面直接發(fā)布公司的確實(shí)不多。目前有點(diǎn)名氣的存儲(chǔ)廠商，都在上面有過(guò)演講，國(guó)內(nèi)廠商，目前只有華為敢在上面亮相，因?yàn)橄旅娴亩际谴骎現(xiàn)場(chǎng)互動(dòng)，技術(shù)上沒(méi)有幾把刷子，英語(yǔ)不行的幾乎都不敢去。

VAST DATA其實(shí)就是海量數(shù)據(jù)的意思，其實(shí)產(chǎn)品理念也沒(méi)有啥特別的，就是用全閃存來(lái)消滅機(jī)械硬盤。剛一開始我以為又一個(gè)AFA創(chuàng)業(yè)公司而已。這些故事我們前面聽過(guò)很多遍了，Pure Storage現(xiàn)在人家還打算用閃存消滅磁帶呢，VAST你消滅硬盤，做夢(mèng)吧。

因?yàn)?，大家都知道，目前大容量硬盤和SSD的單位容量?jī)r(jià)格差還有10倍以上，在歸檔存儲(chǔ)和冷存儲(chǔ)市場(chǎng)，SSD成本太高了，怎么可能是HDD的對(duì)手。Pure Storage可以消滅高性能硬盤，但是還是承認(rèn)冷存儲(chǔ)還得用大容量HDD。

不過(guò)，我看到宣傳說(shuō)他們拿了80m的融資，而且Dell也投資了，還是想看看他們是僅僅喊喊口號(hào)，也許真的有兩把刷子呢。

特別是看了他們的創(chuàng)業(yè)團(tuán)隊(duì)，CEO原來(lái)是原來(lái)XtremIO的第一位工程師，管研發(fā)的VP原來(lái)是Kaminario的CTO，其他三位高管也來(lái)自Pure Storage和EMC，DDN等大名鼎鼎的存儲(chǔ)公司，我覺(jué)得好像有點(diǎn)意思。因?yàn)樗麄冏龅臇|西肯定和XtremIO，Pure Storage和Kaminario不同。

而且，在會(huì)上，他們還宣布，把Storage Filed Day的常客，大V Horward也挖過(guò)去了。VAST總裁說(shuō)Horwards目光如炬，怕他看出他們產(chǎn)品的問(wèn)題，先策反他再說(shuō)，挺幽默的。

我看了一下Horward的LikedIn，發(fā)現(xiàn)其頭銜好有意思：杰出技術(shù)專家&全權(quán)大使，第一次看到這么有趣的頭銜，希望有一天我也能混一個(gè)這么有逼格的頭銜。

VAST公司，其實(shí)2016年就成立了，并且在2018年底產(chǎn)品都GA了，都賣了不少了，但直到上周才發(fā)布公司。這也是有點(diǎn)不一樣，以前很多公司都是公司發(fā)布以后才出產(chǎn)品的。從這點(diǎn)看，VAST怕大家都不信他們能夠消滅硬盤，只是一個(gè)PPT公司，因此提前先把產(chǎn)品做出來(lái)再發(fā)布公司。目前為止，他們已經(jīng)拿了80m投資，包括Dell也投了。

VAST的理念其實(shí)很簡(jiǎn)單，就是原來(lái)的存儲(chǔ)都是分層的。不同的層用不同的介質(zhì)和設(shè)備，在主存儲(chǔ)現(xiàn)在大多是全閃存，在第二存儲(chǔ)和備份，機(jī)械硬盤還是主力，因?yàn)閿?shù)據(jù)量太大，成本的原因。

而VAST DATA開發(fā)了一直全新的架構(gòu)，他們叫通用存儲(chǔ)（注意不叫統(tǒng)一存儲(chǔ)），也就是一個(gè)存儲(chǔ)搞定，沒(méi)有啥分層的必要。因?yàn)樗麄儾捎米畋阋说腝LC介質(zhì)，利用獨(dú)特的數(shù)據(jù)保護(hù)和縮減技術(shù)，成本可以做到硬盤的水平。因?yàn)橛脖P存在的唯一理由就是成本，成本優(yōu)勢(shì)沒(méi)有了，硬盤就沒(méi)有必要保留了，什么第二存儲(chǔ)，備份專用存儲(chǔ)也統(tǒng)統(tǒng)沒(méi)有了。

其實(shí)有這種思路的人很久就有了，但是為什么以前一直沒(méi)法實(shí)現(xiàn)？因?yàn)镼LC和SCM在2018年底才開始商用，以前沒(méi)有這些技術(shù)，因此是一個(gè)不可能的任務(wù)。但現(xiàn)在Intel的傲騰內(nèi)存出來(lái)了，QLC盤業(yè)界也有了，加上原來(lái)的NVMe-oF技術(shù)，才使得這件事變成可能。

VAST其實(shí)架構(gòu)也很簡(jiǎn)單，控制器采用容器技術(shù)部署，全部都是無(wú)狀態(tài)的，可以擴(kuò)充到1000個(gè)節(jié)點(diǎn)，后端通過(guò)NVMe-oF網(wǎng)狀連接閃存框，閃存框里面有少量的SCM做寫Cache，后面插大量的QLC盤。這種架構(gòu)的好處就是容量和性能可以單獨(dú)擴(kuò)展，有分布式存儲(chǔ)的好處，但是和一般的SDS不同的就是，控制框可以看到所有的SSD盤，這得依賴NVMe-oF。不過(guò)，這也沒(méi)有啥特別的，Kaminario也是這樣的架構(gòu)，但是Kaminario賣得好像一般啊，因?yàn)槠銼SD還是采用企業(yè)級(jí)的SSD，太貴了。

看來(lái)，原Kaminario的CTO把K2.N的思路帶到了VASA。

但是，肯定不能像K2.N一樣采用企業(yè)級(jí)SSD，否則成本下不來(lái)，不可能取代硬盤的。

VAST說(shuō)起采用全新的數(shù)據(jù)結(jié)構(gòu)，支持云級(jí)別的擴(kuò)展。

目前只支持NFS和S3協(xié)議，因?yàn)槟壳爸鞔虼髷?shù)據(jù)場(chǎng)景。一般的關(guān)鍵應(yīng)用場(chǎng)景，數(shù)據(jù)量不大，但對(duì)可靠性要求極高，新公司一般不去碰。因?yàn)檫@種場(chǎng)景用戶比較保守，不敢求新，寧可求穩(wěn)，選擇老牌供應(yīng)商。VAST說(shuō)其采用自我描述的數(shù)據(jù)結(jié)構(gòu)，保存在閃存上，控制器采用無(wú)狀態(tài)的容器即可。

前面的描述我覺(jué)得都沒(méi)有什么，很多創(chuàng)業(yè)公司都做了。關(guān)鍵是后面，即QLC的寫壽命那么差，如何支持生產(chǎn)系統(tǒng)？還有，QLC的介質(zhì)雖然可以采用消費(fèi)級(jí)顆粒，但單位成本還是要比硬盤高?。咳绾卧跀?shù)據(jù)縮減上下功夫，使得有效成本低于硬盤？

我們看到，QLC盤的介質(zhì)壽命目前不到500次，而且面向消費(fèi)級(jí)，都是單端口的，也沒(méi)有掉電保護(hù)，也就是沒(méi)有緩存，因此寫的性能是比較差的。

雖然QLC有這么多缺點(diǎn)，但讀的性能和企業(yè)SSD是一樣的。通過(guò)引入SCM做緩沖，這些缺點(diǎn)克服就比較容易了。

針對(duì)生產(chǎn)系統(tǒng)，那個(gè)500次寫壽命怎么克服？這就是NVMe-oF的優(yōu)勢(shì)了，因?yàn)檫@是一個(gè)大容量系統(tǒng)，控制器可以看到（訪問(wèn)）每塊QLC SSD，比如你有1PB的容量，那么每個(gè)顆?？梢詫?00次，這套AFA的整體壽命就是500PB寫。因?yàn)樯a(chǎn)數(shù)據(jù)只占一小部分，大部分是溫?cái)?shù)據(jù)和熱數(shù)據(jù)，因此所有的盤均攤開來(lái)，單盤的寫壽命就根本不是問(wèn)題。這種思路的好處就是不需要Open-Channel的SSD盤，但是做了一個(gè)全局的磨碎均衡，但是不用管垃圾回收。

解決壽命問(wèn)題后，我們來(lái)看看怎么解決成本問(wèn)題。由于控制器可以訪問(wèn)所有的SSD，因此，VAST采用非常寬條帶的糾刪碼方式，比如150+4，甚至500+10。因?yàn)橐粋€(gè)企業(yè)只需要部署一套這個(gè)系統(tǒng)，因此盤的數(shù)量肯定很多，也就是使得這樣的糾刪碼成為可能。這樣，系統(tǒng)的得盤率就太高了，幾乎達(dá)98%。是不是很驚人？你用硬盤的三副本，我用閃存的500+10糾刪碼，不用算就知道幾乎多了3倍的得盤率。成本的因素基本就解決一大半了。

但是，這么長(zhǎng)條帶，系統(tǒng)重構(gòu)就是問(wèn)題了。比如500+10，壞了一塊盤，需要讀500多塊盤，重構(gòu)的時(shí)間就太長(zhǎng)了。為了解決這個(gè)問(wèn)題，VAST增加了額外的檢驗(yàn)位，比如10個(gè)SSD或者20個(gè)SSD一組，組內(nèi)再生成一個(gè)冗余的校驗(yàn)。這樣，如果這個(gè)組里只壞一塊盤，那么只需要讀10-20塊盤的數(shù)據(jù)，重構(gòu)數(shù)據(jù)快多了，而且系統(tǒng)比一般的EC也可靠多了。這一切的一切，都需要靠SCM來(lái)輔助，因?yàn)閿?shù)據(jù)盡量需要在SCM里倒騰，然后整條帶寫到SSD里。

數(shù)據(jù)保護(hù)講完了，我們來(lái)看看數(shù)據(jù)縮減。大家可能馬上想到傳統(tǒng)的重刪和壓縮，但是，這兩個(gè)技術(shù)VAST都沒(méi)有用。因?yàn)閭鹘y(tǒng)的壓縮雖然可以基于byte的粒度，但不是全局的，壓縮率一般。而重刪雖然是做全局的，但一般都是KB粒度的重刪，因?yàn)樾枰芾碓獢?shù)據(jù)，這個(gè)重刪粒度不能太小，不能基于byte的粒度去做。

因此，VAST發(fā)明了一直全新的數(shù)據(jù)縮減方法，首先是全局的，但可以基于byte的粒度來(lái)對(duì)比。其實(shí)原理也很簡(jiǎn)單，也就是針對(duì)數(shù)據(jù)塊先做hash，然后對(duì)比每個(gè)指紋的差距，把類似的指紋放一起進(jìn)行壓縮。因?yàn)檫@些數(shù)據(jù)非常相似，壓縮粒度又可以做到byte粒度，因此，把共性的部分提出來(lái)，其他數(shù)據(jù)塊只保留不同的byte就可以了。

VAST號(hào)稱比傳統(tǒng)的重刪壓縮效果還要好，而且有一個(gè)特點(diǎn)，即對(duì)已經(jīng)重刪和壓縮，甚至加密過(guò)的數(shù)據(jù)都有效果，雖然效果差一些。傳統(tǒng)的重刪壓縮可是對(duì)加密數(shù)據(jù)無(wú)能為力的。

正是由于這些獨(dú)創(chuàng)的技術(shù)，因此，VAST就消滅了各層存儲(chǔ)的區(qū)別，不再需要主存儲(chǔ)，第二存儲(chǔ)和備份存儲(chǔ)，都放進(jìn)來(lái)好了。全閃的性能，但硬盤的價(jià)格，很多情況可能比硬盤還低，特別是數(shù)據(jù)量越大，優(yōu)勢(shì)就越明顯。

目前VAST提供三種部署模式，一體機(jī)模式；或者把控制器以容器方式部署在主機(jī)里，這是有點(diǎn)像融合模式；或者是全軟件模式（100PB以上規(guī)模）。

我們看看一體機(jī)的硬件配置，4個(gè)服務(wù)器起步，閃存框可以只有一個(gè)。閃存框采用50/100G以太或IB互聯(lián)，控制框?qū)ν庵恢С諲FS和S3，因此肯定就是以太口了。

由于目前市場(chǎng)上的消費(fèi)級(jí)QLC一般是M.2的接口，因此目前VAST估計(jì)還需要加一個(gè)接口轉(zhuǎn)換，做成普通盤的U.2接口，這樣才好熱插拔。當(dāng)然，也有封裝成U.2接口的，這樣就可以直接拿來(lái)用了。不過(guò)，這種盤可能用的企業(yè)級(jí)的QLC，成本可能就高了一些。

這樣的AFA特別適合AI和HPC等需要大量讀取數(shù)據(jù)的場(chǎng)景，特別是內(nèi)存計(jì)算技術(shù)。當(dāng)然，成本夠低，用做備份也完全可以。

和英偉達(dá)的大狗熊（DGX-1/2）配合，支持兩種部署模式，一直是傳統(tǒng)的方式，一直是把容器控制器直接部署到大狗熊的機(jī)箱了，性能更高。因?yàn)榇蠊沸芴貏e貴，這樣可以充分發(fā)揮大狗熊的價(jià)值，讓大狗熊加載數(shù)據(jù)時(shí)很快，充分喂飽大狗熊。

由于控制器是容器部署，在容器場(chǎng)景下可以和K8s聯(lián)合動(dòng)態(tài)編排，管理起來(lái)非常方便。

也可以一部分容器支持GPU，一部分容器支持常規(guī)的NFS HPC計(jì)算，混合部署，非常靈活。

甚至，如果時(shí)延小于5ms，甚至可以把計(jì)算部署到公有云里，通過(guò)S3訪問(wèn)AFA的數(shù)據(jù)，這樣數(shù)據(jù)就可以不上云。

VAST還做了一個(gè)數(shù)據(jù)縮減的測(cè)試，采用備份軟件CV重刪壓縮過(guò)的數(shù)據(jù)，VAST還能做到6:1的縮減率，如果在CV上把壓縮關(guān)了，其數(shù)據(jù)縮減甚至做到了22:1。因此，我們看到，CV不做壓縮，整體的數(shù)據(jù)縮減率更高，因?yàn)閂AST是全局的基于byte的數(shù)據(jù)縮減。

VAST也提供了常用的數(shù)據(jù)格式的數(shù)據(jù)縮減率，我們看到像媒體這樣做過(guò)壓縮的數(shù)據(jù)，也能做到2倍以上的數(shù)據(jù)縮減率。而這些數(shù)據(jù)格式，傳統(tǒng)的重刪壓縮基本沒(méi)有太大效果。

到目前為止，我覺(jué)得VAST的這些設(shè)計(jì)還真是獨(dú)辟蹊徑，確實(shí)解決了現(xiàn)在閃存價(jià)格居高不下的問(wèn)題，如果容量夠大，從成本上應(yīng)該比硬盤還好，但性能卻是閃存的性能。關(guān)鍵整體的思路還是軟件定義的思路，不需要你做硬件，你只需要用最新的硬件就可以了。

至少目前來(lái)看，我還沒(méi)有看到這個(gè)架構(gòu)的缺點(diǎn)。雖然暫時(shí)只支持NFS和S3，沒(méi)有對(duì)塊的支持，但全閃的NFS，我相信性能應(yīng)該也滿足關(guān)鍵業(yè)務(wù)傳統(tǒng)數(shù)據(jù)庫(kù)的需求。只是目前VAST還沒(méi)有兩地三中心的災(zāi)備方案，加上是新公司，大家不會(huì)在關(guān)鍵業(yè)務(wù)上冒險(xiǎn)。

不知道Dell未來(lái)是否會(huì)收購(gòu)VAST DATA，這樣中國(guó)市場(chǎng)就能看到這個(gè)神奇的產(chǎn)品了。因?yàn)?，如果不收?gòu)，進(jìn)國(guó)內(nèi)就麻煩了，國(guó)內(nèi)的VAST DATA已經(jīng)被一個(gè)北京海量數(shù)據(jù)公司注冊(cè)了，這個(gè)公司還是上市公司，他們?cè)贠racle數(shù)據(jù)庫(kù)運(yùn)維方面實(shí)力超群（據(jù)說(shuō)挖了很多Oracle原廠售后），很多銀行的代維都是找他們。而且，他們也做存儲(chǔ)，比如銷售HDS的存儲(chǔ)，也正在研發(fā)自己的大數(shù)據(jù)一體機(jī)和存儲(chǔ)。不過(guò)，中外兩個(gè)海量數(shù)據(jù)公司聯(lián)合起來(lái)，也不是沒(méi)有可能，O(∩_∩)O哈！

我一直以為AFA的創(chuàng)新已經(jīng)沒(méi)有太多搞頭，下一個(gè)風(fēng)口應(yīng)該是第二存儲(chǔ)了，現(xiàn)在看來(lái)，AFA還是有機(jī)會(huì)的，第一次AFA浪潮消滅了高性能機(jī)械硬盤，這第二波AFA浪潮看來(lái)要消滅大容量機(jī)械硬盤了。

難度機(jī)械硬盤和固態(tài)硬盤就不能好好玩耍嗎？會(huì)不會(huì)就像很多年以前說(shuō)得消滅大機(jī)，消滅磁帶一樣，消滅機(jī)械硬盤也許也沒(méi)有那么容易。不過(guò)，現(xiàn)在大機(jī)，磁帶市場(chǎng)確實(shí)在萎縮，雖然是晚年，但垂而不死。但大容量硬盤現(xiàn)在卻是如火如荼，各個(gè)硬盤廠商爭(zhēng)相發(fā)布更大容量的硬盤，正值青壯年。難道，他們的晚年這么快到了？