1.為什么出現(xiàn)數(shù)據(jù)湖？

支撐業(yè)務(wù)的IT軟件系統(tǒng)最簡單的數(shù)據(jù)鏈路是：操作業(yè)務(wù)APP的界面或者調(diào)用其API接口，將交易數(shù)據(jù)記錄到關(guān)系型數(shù)據(jù)庫中。

說其簡單，是因為這樣的系統(tǒng)能夠支撐業(yè)務(wù)交易。業(yè)務(wù)APP上的每筆交易數(shù)據(jù)都會記錄在數(shù)據(jù)庫中。

這對業(yè)務(wù)交易員來說，已經(jīng)足夠了。但對業(yè)務(wù)管理者來說，期望看到的是“自己關(guān)心的、宏觀的、能夠反應(yīng)歷史變化的數(shù)據(jù)”，并且最好是可視化的界面，一目了然。

于是，“數(shù)據(jù)倉庫”出現(xiàn)了，它就是一個面向主題的、集成的、反映歷史變化的數(shù)據(jù)集合。

那么，數(shù)據(jù)是如何從業(yè)務(wù)數(shù)據(jù)庫到達(dá)數(shù)據(jù)倉庫的呢？

首先，要理解的是業(yè)務(wù)數(shù)據(jù)庫和數(shù)據(jù)倉庫的Schema（表結(jié)構(gòu)）大部分情況下是不同的，前者用來記錄實時交易信息，后者用來記錄歷史匯總信息。

其次，表結(jié)構(gòu)的不同，就需要進(jìn)行數(shù)據(jù)處理的三板斧--“抽取、轉(zhuǎn)換和加載”，即Extract-Transform-Load，簡稱ETL。具體來說就是抽取管理者關(guān)心的（面向主題）、轉(zhuǎn)換數(shù)據(jù)、加載到數(shù)據(jù)倉庫中。

最后，根據(jù)業(yè)務(wù)規(guī)則，提取數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行可視化提取與展示（報表）。

數(shù)據(jù)倉庫的使用思路是：業(yè)務(wù)管理者知道“自己關(guān)心哪些數(shù)據(jù)”，在創(chuàng)建數(shù)據(jù)倉庫時，便可以將這些數(shù)據(jù)提取并記錄下來。這樣，數(shù)據(jù)倉庫記錄的是經(jīng)過加工過的數(shù)據(jù)，而非原始數(shù)據(jù)。

注意到數(shù)據(jù)倉庫的數(shù)據(jù)是結(jié)構(gòu)化的。對于半結(jié)構(gòu)化（CSVXMLJSON）和非結(jié)構(gòu)化（e-mail文檔）的數(shù)據(jù)來說，也蘊含著有價值的信息，同樣需要分析，或者現(xiàn)在不知道怎么分析，也可以先存儲起來。

那么就需要有一種方法：不但可以存儲原始數(shù)據(jù)，也可以存儲結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu) 化的數(shù)據(jù)，并且還能支撐數(shù)據(jù)的分析。

時勢的呼喚下，“數(shù)據(jù)湖（Data Lake）”便產(chǎn)生了。

2.數(shù)據(jù)湖是什么？

數(shù)據(jù)湖是一個以原始格式存儲數(shù)據(jù)的存儲庫或系統(tǒng)。

“數(shù)據(jù)”可以是各種格式的，結(jié)構(gòu)化、半結(jié)構(gòu)化的、非結(jié)構(gòu)化的。并且數(shù)據(jù)是未經(jīng)加工的，像大自然的水，流入到“湖”中。也就是數(shù)據(jù)的存儲，無需像數(shù)據(jù)倉庫那樣事先設(shè)計Schema，也無需事先有明確的分析需求（有了想法，再延遲分析，稱為讀時模式Schema-On-Read）。

3.數(shù)據(jù)湖如何實現(xiàn)？

數(shù)據(jù)湖是一種方法論，探討如何以原始形態(tài)存儲各種格式的數(shù)據(jù)，并能支持后續(xù)的分析。

數(shù)據(jù)湖的開源實現(xiàn)有：Hadoop、Delta、Apache Iceberg 和 Apache Hudi。