（文章來(lái)源：千家網(wǎng)）

隨著計(jì)算機(jī)技術(shù)，傳感器技術(shù)以及互聯(lián)網(wǎng)技術(shù)的發(fā)展，人類(lèi)的數(shù)據(jù)總量已經(jīng)達(dá)到了前所未有的規(guī)模。數(shù)據(jù)充斥著每個(gè)人的日常生活，企業(yè)每天都面臨著管理數(shù)據(jù)以及使用數(shù)據(jù)的挑戰(zhàn)。目前，存儲(chǔ)數(shù)據(jù)的載體、數(shù)據(jù)的處理技術(shù)以及數(shù)據(jù)的使用的方式方法都在不斷的演進(jìn)，企業(yè)用戶(hù)對(duì)數(shù)據(jù)價(jià)值的預(yù)期也不斷增加。企業(yè)用戶(hù)期望通過(guò)數(shù)據(jù)快速帶來(lái)商業(yè)價(jià)值，同時(shí)對(duì)數(shù)據(jù)的安全，數(shù)據(jù)隱私與合規(guī)等要求越來(lái)越高。

過(guò)去的十年里，用戶(hù)需求主要集中在解決高效的存儲(chǔ)，并且能夠同時(shí)處理大規(guī)模數(shù)據(jù)。通過(guò)分布式的方式把數(shù)據(jù)分散在不同的服務(wù)器上，以分而治之的方式來(lái)并發(fā)處理數(shù)據(jù)，避免網(wǎng)絡(luò)傳輸帶來(lái)的消耗和延遲等。Hadoop 在過(guò)去十年里解決用戶(hù)需求的同時(shí)也在不斷自我演進(jìn)。Cloudera’s Distribution Including Apache Hadoop(CDH)作為眾多 Hadoop 分支的一種，得到了企業(yè)用戶(hù)廣泛的認(rèn)可和使用。

未來(lái)十年里，現(xiàn)有的數(shù)據(jù)管理使用架構(gòu)與解決方案面臨新的諸多挑戰(zhàn)。例如龐大集群規(guī)模部署時(shí)間長(zhǎng)，企業(yè)實(shí)際應(yīng)用中缺乏高效數(shù)據(jù)隱私與安全管理，數(shù)據(jù)災(zāi)難恢復(fù)能力弱，多云及混合云跨云管理繁瑣等。都需要在現(xiàn)有技術(shù)架構(gòu)基礎(chǔ)上進(jìn)行延展從而來(lái)應(yīng)對(duì)這些新的挑戰(zhàn)。Cloudera 的全新 CDP 產(chǎn)品就是為了幫助用戶(hù)應(yīng)對(duì)未來(lái)的新挑戰(zhàn)。

Cloudera 在 Hadoop 基礎(chǔ)架構(gòu)下發(fā)展出的商業(yè)版 CDH，是第一代架構(gòu)的代表，主要關(guān)注在本地部署云上集中同位的存儲(chǔ)和計(jì)算以及大型共享集群;Cloudera 認(rèn)為的第二代架構(gòu)，主要關(guān)注在公有云上的存儲(chǔ)與計(jì)算解耦和多集群，例如 Amazon EMR;Cloudera 目前提出的平臺(tái)方案 CDP 被認(rèn)為是第三代架構(gòu)，主要關(guān)注在多云以及混合云上的存儲(chǔ)與計(jì)算解耦，多租戶(hù)以及容器化的 SaaS 體驗(yàn)。

去年年初，Cloudera 正式完成與 Hortonwork 的合并，新公司采用 Cloudera 品牌，新數(shù)據(jù)平臺(tái)將 HDP(Hortonworks 數(shù)據(jù)平臺(tái))和 CDH(Cloudera Distribution Hadoop)的功能進(jìn)行結(jié)合，加入安全治理堆棧，支持百分百開(kāi)源，同時(shí)支持國(guó)際主流的五大公有云平臺(tái)，這意味著Cloudera 開(kāi)始全面轉(zhuǎn)變?yōu)橐患覕?shù)據(jù)云公司。在任何云上面，不管是在公有云、私有云，混合云，還是公有云上的任何一朵云，都可以來(lái)運(yùn)行?Cloudera?的數(shù)據(jù)平臺(tái)。

提供全數(shù)據(jù)生命周期支持，不只是提供?Hadoop?技術(shù)本身的支持，還提供在整個(gè)數(shù)據(jù)生命周期所有使用到的工具和平臺(tái)，包括數(shù)據(jù)采集、IoT、數(shù)據(jù)分析、BI、數(shù)據(jù)倉(cāng)庫(kù)、機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)等。在數(shù)據(jù)安全和治理上，提出了共享的數(shù)據(jù)體驗(yàn)架構(gòu)，實(shí)現(xiàn)存儲(chǔ)層和計(jì)算層的解耦，更好的管理源數(shù)據(jù)，同時(shí)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)分離。對(duì)數(shù)據(jù)的安全、治理、血緣和審計(jì)方面，提供了單獨(dú)的?SDX?工具。

Cloudera 的云數(shù)據(jù)平臺(tái)軟件 CDP可以為企業(yè)從數(shù)據(jù)戰(zhàn)略上提供完整的服務(wù)，其多云和混合云的統(tǒng)一平臺(tái)解決方案，可以實(shí)現(xiàn)快速部署，并靈活適用于企業(yè)各自的云使用策略，節(jié)約成本同時(shí)實(shí)現(xiàn)快速上線(xiàn)。全數(shù)據(jù)生命周期的支持可以讓企業(yè)更加高效的使用數(shù)據(jù)和挖掘數(shù)據(jù)，提升企業(yè)數(shù)據(jù)價(jià)值。同時(shí)數(shù)據(jù)安全治理為分布各種云上的數(shù)據(jù)提供有效管理。因此，現(xiàn)在的 CDP，既能提供多云與混合云的統(tǒng)一平臺(tái)解決方案，又可以支持企業(yè)全數(shù)據(jù)生命周期中提升數(shù)據(jù)價(jià)值，還能實(shí)現(xiàn)企業(yè)云上的數(shù)據(jù)安全治理。

企業(yè)在使用云的策略上，通常會(huì)根據(jù)其業(yè)務(wù)特點(diǎn)選擇公有云或私有云，有的企業(yè)也會(huì)選擇公有云 + 私有云，并構(gòu)建混合云環(huán)境。Cloudera 在多云以及混合云的使用方面提出了很多新的理念和實(shí)踐。

對(duì)公有云來(lái)說(shuō)，原生云服務(wù)商建立了相關(guān)的對(duì)象存儲(chǔ)標(biāo)準(zhǔn)，但私有云目前并沒(méi)有對(duì)應(yīng)的標(biāo)準(zhǔn)。Cloudera 通過(guò)主推 Ozone 為私有云提供未來(lái)的對(duì)象存儲(chǔ)標(biāo)準(zhǔn)。Ozone 是 Cloudera 在 2019 年創(chuàng)建并引入的一個(gè) Hadoop 子項(xiàng)目，是一個(gè)開(kāi)源的對(duì)象存儲(chǔ)項(xiàng)目。引入 Ozone 是為了能夠徹底解決 HDFS 文件數(shù)量的限制的弱點(diǎn)。目前很多企業(yè)用戶(hù)在部署大規(guī)模集群的時(shí)候，都需要使用 HDFS 聯(lián)邦，而 HDFS 聯(lián)邦在實(shí)際應(yīng)用中也存在各種問(wèn)題，并不是最佳的解決方案，隨著集群規(guī)模不斷的增長(zhǎng)，局限性也日益突出。

結(jié)合 CDP 存儲(chǔ)跟計(jì)算分離的概念，Cloudera 將 Ozone 定位為私有云的數(shù)據(jù)存儲(chǔ)引擎。Ozone 可以被理解為私有云里面的“S3”，所有數(shù)據(jù)都是存放在Ozone 里面，而分離的計(jì)算集群都是通過(guò)源數(shù)據(jù)，網(wǎng)絡(luò)遠(yuǎn)程處理。未來(lái)規(guī)劃中，Hive、Spark、Impala 等一系列的處理引擎都會(huì)跟 Ozone 集成。

同時(shí)私有云版上跟公有云版進(jìn)行映射，從而使存儲(chǔ)的接口和計(jì)算引擎都可以在 Ozone 上實(shí)施。由此不但可以滿(mǎn)足用戶(hù)使用對(duì)象存儲(chǔ)接口的需求，而且可以靈活的去分配計(jì)算資源，為開(kāi)發(fā)帶來(lái)便捷。

從不同云的使用上講，CDP 提供公有云、Data Center和私有云版本，并提供體驗(yàn)相同的各種數(shù)據(jù)服務(wù)。例如流式處理、Hive 批量處理、Spark 和即時(shí)查詢(xún)等，用戶(hù)在私有云環(huán)境里面，可以獲得跟公有云一樣的體驗(yàn)。用戶(hù)使用 CDP 在自己搭建部署的云和使用 CDP 在原生云服務(wù)商的公有云時(shí)，CDP都會(huì)提供統(tǒng)一的用戶(hù)界面和相同的使用的方式，避免了用戶(hù)重復(fù)學(xué)習(xí)，同時(shí)大大節(jié)約了運(yùn)維集群的時(shí)間。

開(kāi)源是軟件技術(shù)創(chuàng)新的潮流，幾乎所有最新的技術(shù)都是以開(kāi)源的形式在傳播和推廣。同時(shí)開(kāi)源會(huì)成就技術(shù)的多樣化，一個(gè)百花齊放社區(qū)的文化可以持續(xù)不斷的發(fā)展。Cloudera 也會(huì)借助開(kāi)源強(qiáng)大的創(chuàng)新能力，不斷提升對(duì)用戶(hù)的服務(wù)。

Cloudera?擁有?700?多個(gè)研發(fā)工程師，其中大概?300?名左右的?committers，同時(shí)其系列產(chǎn)品在全球幾千個(gè)大型客戶(hù)經(jīng)過(guò)廣泛的驗(yàn)證，用戶(hù)的問(wèn)題可以得到快速解決。因此企業(yè)用戶(hù)訂閱?Cloudera?的企業(yè)版產(chǎn)品，不需要建立各自的技術(shù)團(tuán)隊(duì)進(jìn)行平臺(tái)底層研發(fā)和日常維護(hù)，讓企業(yè)最大限度的節(jié)省平臺(tái)成本投入。

用戶(hù)訂閱本質(zhì)上是購(gòu)買(mǎi)?Cloudera?所提供的服務(wù)，使用戶(hù)能夠釋放出維護(hù)軟件版本所需的大量寶貴的工程師資源，也不必?fù)?dān)心轉(zhuǎn)換平臺(tái)供應(yīng)商所帶來(lái)的成本投入，令用戶(hù)能將更多資源投入在能產(chǎn)生更多收入的應(yīng)用和產(chǎn)品服務(wù)上。

Cloudera?開(kāi)發(fā)了諸多開(kāi)源項(xiàng)目，這些項(xiàng)目已經(jīng)成為行業(yè)標(biāo)準(zhǔn)，但是沒(méi)有一家公司可以成為創(chuàng)新唯一來(lái)源。通過(guò)投資Spark，Kbernetes和Kafka等開(kāi)源項(xiàng)目，通過(guò)訂閱服務(wù)，用戶(hù)可以獲得可持續(xù)發(fā)展的長(zhǎng)期架構(gòu)。通過(guò)更開(kāi)放包容的商業(yè)策略，Cloudera最大限度的發(fā)揮開(kāi)源社區(qū)創(chuàng)新的原動(dòng)力，持續(xù)為客戶(hù)提供更好的服務(wù)。
? ? ? （責(zé)任編輯：fqj）