提到大數(shù)據(jù)，我們就離不開數(shù)據(jù)的收集整理，其中ETL是我們經(jīng)常使用的用于構建數(shù)據(jù)倉庫， 構建大數(shù)據(jù)的方法。

大數(shù)據(jù)處理階段

此階段的目標是使用單個模式來清理，規(guī)范化，處理和保存數(shù)據(jù)。最終結果是具有定義良好的架構的可信數(shù)據(jù)集。例如Spark之類的處理框架用于在機器集群中并行處理數(shù)據(jù)。在這里我們需要進行數(shù)據(jù)的驗證，隔離掉不合法的數(shù)據(jù)，我們需要對不良數(shù)據(jù)進行篩選過濾。對于不規(guī)范的數(shù)據(jù)，我們需要有整理和清潔功能，我們要能夠將一些低效的格式入json進行轉換。同時我們可能還需要一些標準化的操作，比如對一些數(shù)值進行小數(shù)點位的精度轉化。

大數(shù)據(jù)處理的最終目的就是創(chuàng)建一個可信數(shù)據(jù)集，然后下游系統(tǒng)可以依賴此數(shù)據(jù)源進行業(yè)務分析和數(shù)據(jù)計算。

對于大數(shù)據(jù)的處理，主要有下面的幾個工具引擎。

Apache Hive

它是將SQL請求轉換為MapReduce任務鏈的引擎。它主要實現(xiàn)的功能是對傳入的SQL進行排序然后優(yōu)化排序結果，最終得到高效率的請求結果。2018年它將MapReduce替換為Tez作為搜索引擎。它具有機器學習功能，并且在和其他流行的大數(shù)據(jù)框架進行集成。

Apache Spark

這是最著名的批處理框架。它是Hadoop生態(tài)系統(tǒng)的一部分，是一個托管集群，可提供強大的并性，有著精準的監(jiān)控和出色的UI。它還支持流處理（結構化流）。基本上，Spark在內(nèi)存中運行MapReduce作業(yè)，其性能是常規(guī)MapReduce性能的100倍。它與Hive集成以支持SQL，并可用于創(chuàng)建Hive表，視圖或查詢數(shù)據(jù)。它具有很多集成，支持多種格式，并且擁有龐大的社區(qū)。所有云提供商都支持它。它可以在YARN上運行作為Hadoop集群的一部分，還可以在Kubernetes和其他平臺中使用。它具有許多的第三方庫可以使用。

Apache Flink

第一個統(tǒng)一批處理和流傳輸?shù)囊妫梢杂米飨馣afka這樣的微服務的主干。它可以作為Hadoop集群的一部分在YARN上運行，它還針對其他平臺（如Kubernetes或Mesos）進行了優(yōu)化。它非?？?，并且提供實時流傳輸，使其成為針對低延遲流處理（尤其是有狀態(tài)流）的一個比Spark更好的選擇。它還具有用于SQL，機器學習等的庫。它比Spark更快，是數(shù)據(jù)流的更好選擇。

Apache Storm

是一個免費和開源的分布式實時計算系統(tǒng)，它專注于流傳輸，是Hadoop生態(tài)系統(tǒng)的托管解決方案部分。它具有可擴展性，容錯性，可確保您的數(shù)據(jù)將得到處理，并且易于設置和操作。

Apache Samza

一個出色的有狀態(tài)流處理引擎。Samza允許您構建有狀態(tài)的應用程序，它可以從多個來源實時處理數(shù)據(jù)。它不僅可以在YARN集群上運行，也可以作為獨立庫單獨運行。

Apache Beam

它本身不是引擎，而是將所有其他引擎結合在一起的統(tǒng)一編程模型的規(guī)范。它提供了可以與不同語言一起使用的編程模型，因此開發(fā)人員在處理大數(shù)據(jù)管道時不必學習新的語言。然后，它為可以在云或本地運行的處理步驟插入了不同的后端。Beam支持前面提到的所有引擎，您可以在它們之間輕松切換并在任何平臺上運行它們：云，YARN，Mesos，Kubernetes。如果您要開始一個新項目，那么建議您從Beam開始，因為Beam是面向未來的。

Presto

Presto是一個開放源代碼的分布式SQL查詢引擎，適合于對各種大小，各種數(shù)據(jù)源進行交互式分析查詢。

Presto是專為交互式分析而設計和編寫的，當它的規(guī)模擴展到一定的規(guī)模的時候，它也可以實現(xiàn)商業(yè)數(shù)據(jù)倉庫的處理速度。

Presto允許查詢數(shù)據(jù)存在多個地方，包括Hive，Cassandra，關系數(shù)據(jù)庫甚至專有數(shù)據(jù)存儲。一個Presto查詢可以合并來自多個來源的數(shù)據(jù)，從而可以在整個組織中進行分析。

Presto適用于期望響應時間從亞秒到數(shù)分鐘不等的分析師。Presto打破了使用昂貴的商業(yè)解決方案進行快速分析或使用需要大量硬件的慢速“免費”解決方案之間的錯誤選擇。

總結

處理引擎是當前在大數(shù)據(jù)詞中使用的很著名的工具。作為大數(shù)據(jù)工程師，您將經(jīng)常使用這些引擎。了解這些引擎的分布式特性并知道如何優(yōu)化它們，保護它們并監(jiān)視它們至關重要。

請記住，還有一些OLAP引擎提供了一種查詢大量數(shù)據(jù)的單一解決方案，而無需編寫復雜的轉換，而是通過以一種特定的格式加載數(shù)據(jù)來提高查詢的性能。

對于一個新項目，建議您研究Apache Beam，因為它在所有其他引擎的基礎上提供了一個抽象，使您無需更改代碼即可更改處理引擎。

對于流處理，特別是有狀態(tài)流處理，請考慮Flink或Samza。對于批處理，請使用Spark。
責任編輯：YYX