今天，我將首先介紹 Databend v1.0 相比 v0.9 版本所做的改進，然后探討我們團隊的愿景和未來展望?，F(xiàn)在就讓我們開始吧！

v1.0改進

此外，Databend 社區(qū)還在版本 v1.0 中推出了多項新功能：

1

UPDATE

現(xiàn)在，用戶可以使用 UPDATE 語句來更新 Databend 中的數(shù)據(jù)。

更新語句的格式如下：

--Updateabook(Id:103)
UPDATEbookstoreSETbook_name='Thelonganswer(2nd)'WHEREbook_id=103;

通過支持 UPDATE 功能，Databend 實現(xiàn)了對 CRUD 操作的完整支持。

2

ALTER TABLE

在 v1.0 中，用戶可以使用 ALTER TABLE 來修改 Databend 中的表結構：

--Addacolumn
ALTERTABLEtADDCOLUMNcIntDEFAULT10;

3

DECIMAL

在完成了 Databend 類型系統(tǒng)的大型重構之后，社區(qū)在一個堅實的基礎上實現(xiàn)了 DECIMAL 數(shù)據(jù)類型的支持！

--Createatablewithdecimaldatatype.
createtabletb_decimal(c1decimal(36,18));

--Inserttwovalues.
insertintotb_decimalvalues(0.152587668674722117),(0.017820781941443176);

select*fromtb_decimal;
+----------------------+
|c1|
+----------------------+
|0.152587668674722117|
|0.017820781941443176|
+----------------------+

4

Native Format

在 v0.9 版本中引入的 Native Formatstrawboat^[2]得到了進一步的完善！社區(qū)為 strawboat 增加了半結構化數(shù)據(jù)的支持，并引入了多項性能優(yōu)化，幫助 Databend 在 HITS 數(shù)據(jù)集的性能取得了巨大提升。

5

CBO

引入了直方圖框架，可以利用統(tǒng)計信息更為精確地進行代價估算。進一步完善和強化 join reorder 算法，從而大大的提高多表 join 的性能，幫助 Databend 在 TPCH 數(shù)據(jù)集上的性能取得顯著提升。

6

SELECT FROM STAGE

STAGE 是 Databend 數(shù)據(jù)流轉的核心。我們之前已經(jīng)支持從 STAGE 中加載數(shù)據(jù)和向 STAGE 中導出數(shù)據(jù)，現(xiàn)在我們更進一步，支持了直接在 STAGE 中進行數(shù)據(jù)查詢！

用戶只需要為 Databend 創(chuàng)建一個包含數(shù)據(jù)文件的 STAGE，就可以輕松進行數(shù)據(jù)查詢，無需編寫復雜的建表語句或繁瑣的數(shù)據(jù)導入流程。

selectmin(number),max(number)
from@lake(pattern=>'.*parquet');

+-------------+-------------+
|min(number)|max(number)|
+-------------+-------------+
|0|9|
+-------------+-------------+

如果用戶只需要進行一次性的查詢，還可以直接使用更簡短的 URI 形式：

selectcount(*),author
from'https://datafuse-1253727613.cos.ap-hongkong.myqcloud.com/data/books.parquet'
(file_format=>'parquet')
groupbyauthor;

+----------+---------------------+
|count(*)|author|
+----------+---------------------+
|1|JimGray|
|1|MichaelStonebraker|
+----------+---------------------+

7

Query Result Cache

在 v1.0 版本中，Databend 社區(qū)借鑒了 ClickHouse 社區(qū)的設計，并增加了 Query Result Cache 功能。當?shù)讓訑?shù)據(jù)沒有發(fā)生變化時，執(zhí)行相同的查詢會命中緩存，避免了重復執(zhí)行查詢的過程。

MySQL[(none)]>SELECTWatchID,ClientIP,COUNT(*)ASc,SUM(IsRefresh),AVG(ResolutionWidth)FROMhitsGROUPBYWatchID,ClientIPORDERBYcDESCLIMIT10;
+---------------------+-------------+------+----------------+----------------------+
|watchid|clientip|c|sum(isrefresh)|avg(resolutionwidth)|
+---------------------+-------------+------+----------------+----------------------+
|6655575552203051303|1611957945|2|0|1638.0|
|8566928176839891583|-1402644643|2|0|1368.0|
|7904046282518428963|1509330109|2|0|1368.0|
|7224410078130478461|-776509581|2|0|1368.0|
|5957995970499767542|1311505962|1|0|1368.0|
|5295730445754781367|1398621605|1|0|1917.0|
|8635802783983293129|900266514|1|1|1638.0|
|5650467702003458413|1358200733|1|0|1368.0|
|6470882100682188891|-1911689457|1|0|1996.0|
|6475474889432602205|1501294204|1|0|1368.0|
+---------------------+-------------+------+----------------+----------------------+
10rowsinset(3.255sec)

MySQL[(none)]>SELECTWatchID,ClientIP,COUNT(*)ASc,SUM(IsRefresh),AVG(ResolutionWidth)FROMhitsGROUPBYWatchID,ClientIPORDERBYcDESCLIMIT10;
+---------------------+-------------+------+----------------+----------------------+
|watchid|clientip|c|sum(isrefresh)|avg(resolutionwidth)|
+---------------------+-------------+------+----------------+----------------------+
|6655575552203051303|1611957945|2|0|1638.0|
|8566928176839891583|-1402644643|2|0|1368.0|
|7904046282518428963|1509330109|2|0|1368.0|
|7224410078130478461|-776509581|2|0|1368.0|
|5957995970499767542|1311505962|1|0|1368.0|
|5295730445754781367|1398621605|1|0|1917.0|
|8635802783983293129|900266514|1|1|1638.0|
|5650467702003458413|1358200733|1|0|1368.0|
|6470882100682188891|-1911689457|1|0|1996.0|
|6475474889432602205|1501294204|1|0|1368.0|
+---------------------+-------------+------+----------------+----------------------+
10rowsinset(0.066sec)

8

Table Data Cache

緩存是存算分離架構中的重要組成部分。在 v1.0 版本中，Databend 社區(qū)為我們帶來了 Table Data Cache！當 Databend 執(zhí)行查詢時，會根據(jù)訪問數(shù)據(jù)的熱度情況決定是否將該數(shù)據(jù)塊保存到緩存中，以加速下一次訪問。

Aggregate Spill

在 v1.0 版本中, Databend 引入了 Aggregate spill, 當在 Databend 中執(zhí)行聚合查詢時, 會根據(jù) Databend 當前的內存使用情況動態(tài)，決定將內存中的聚合數(shù)據(jù)臨時保存并持久化到對象存儲中, 防止查詢過程中使用過高的內存。

未來展望

經(jīng)過這些版本的打磨，Databend 終于有了一個雛形?，F(xiàn)在，讓我們重新認識一下 Databend：

Part.

1

一個使用 Rust 開發(fā)的云原生數(shù)據(jù)倉庫：存算分離，面向對象存儲設計，極致彈性

Part.

2

支持完整的 CRUD 特性，提供了 MySQL/Clickhouse/HTTP RESTful 等協(xié)議支持

Part.

3

提供原生的 ARRAY、MAP、JSON 等復雜類型和 DECIMAL 高精度類型支持

Part.

4

構建了類似于 Git 的 MVCC 列式存儲引擎，支持 Data Time Travel 和 Data Share 能力

Part.

5

不受存儲供應商的限制，可以在任何存儲服務上運行，并直接查詢任何存儲服務上的數(shù)據(jù)

Part.

6

目前已全面支持 HDFS/Cloud-Based Object Storage 協(xié)議，包括：阿里云 OSS，騰訊云 COS，華為云 OBS，以及 S3，Azure Blob, Google Cloud Storage

Databend 的征程遠遠不止于此，在未來我們希望 Databend 能擁有：

1

更強大的功能

在緊隨其后的 v1.1 版本中，我們希望實現(xiàn)如下功能：

• JSON 索引：提高半結構化數(shù)據(jù)檢索能力

• 分布式 Ingest 能力：提高數(shù)據(jù)寫入速度

• MERGE INTO 功能：實現(xiàn)數(shù)據(jù)源增、刪、改的實時 CDC 能力

• Windows Function

2

更開放的社區(qū)

• 開源了Databend 元數(shù)據(jù)服務集群的共識引擎openraft^[3]

• 向 Apache 軟件基金會捐贈了底層的數(shù)據(jù)訪問引擎 opendal^[4] 并成功進入孵化器開始孵化

• 成為向量計算基礎庫 arrow2 等多個依賴項目的貢獻者

• 跟進并采用 Rust Nightly，幫助 Rust 社區(qū)復現(xiàn)并驗證問題