對于數(shù)據(jù)分析的工具，想必大家都或多或少的有一定的了解，常見的像是numpy和pandas更是大家日常使用的數(shù)據(jù)分析工具。但是面對大數(shù)據(jù)的處理時，像是numpy和pandas的在加載數(shù)據(jù)時，會看到內(nèi)存用量的飆升，而dask卻可以將這些大的數(shù)據(jù)進行并行計算。

今天小編就帶領大家學習一個并行的計算庫——dask。dask可以幫助我們并行化處理pandas的DataFrame和numpy的計算，甚至是并行化處理機器學習算法。

01.dask庫的使用介紹

dask庫可以很好的兼容pandas的DataFrame數(shù)據(jù)和numpy的array數(shù)據(jù)，此外，像是Sklearn、XGBoost等機器學習庫，dask也能夠支持。dask的官網(wǎng)（https://dask.org/）對于支持的庫有一個全面的展示。

dask庫的強大之處在于它擁有豐富的已有庫的兼容性，而且只需要改動很少的程序，就可以在自己的電腦上使用并行計算。

02.dask的安裝

對于dask庫的安裝，也非常的簡單，大家只需要在anaconda環(huán)境下運行conda install dask即可安裝。

03.dask庫的使用介紹

1）.Numpy的array數(shù)據(jù)dask庫對于numpy的array數(shù)組操作也非常的簡潔。dask是將numpy的數(shù)組進行切分，切分成許多的block進行操作，對于小數(shù)據(jù)來說，可能優(yōu)勢不明顯，但是當數(shù)據(jù)集達到幾十G后，就能顯示出dask的優(yōu)勢。

上圖是利用dask進行array的操作，可以看到dask對于numpy數(shù)組的處理與numpy的操作并沒有很大的區(qū)別，如果對于numpy數(shù)組操作熟悉的話，那么上手dask的numpy數(shù)組也是非常簡單的。

2）.Pandas的DataFrame數(shù)據(jù)

對于DataFrame數(shù)據(jù)，dask的操作同樣與pandas非常的類似。需要注意的是，當求分組的“x“列均值時，dask并沒有直接輸出結(jié)果，而是在運行s的compute（）函數(shù)后，才得到結(jié)果，這是與pandas不同的一點。

04.dask的Delayed

對于dask庫，Delayed模塊是它進行并行計算的核心，delayed 通過將需要計算的任務記錄在計算圖中，并在之后，將其并行運行在硬件上得到結(jié)果。由于不能立即得到結(jié)果，所以該模塊被稱為delayed。對于delayed模塊的使用。

可以看到，通過delayed裝飾器來修飾函數(shù)，在下一個計算框圖中定義z的計算，然后通過visualize函數(shù)來查看z的計算圖，如上圖右側(cè)所示。同時可以看到z的計算圖只需要不到1ms的時間即可完成。而z值的計算，同樣采用z.compute（）進行計算即可。

05.對于機器學習算法的支持

對于dask機器學習的應用，可以安裝Dask-ML，Dask-ML是將Dask與流行的機器學習庫（例如sklearn，XGBoost等）進行結(jié)合，提供的并行化機器學習處理庫?？梢岳?a href="http://www.socialnewsupdate.com/tags/pi/" target="_blank">pip install dask-ml進行安裝。

有興趣的小伙伴可以安裝試一下，用慣了Pandas ，也可以試試換個口味了！

編輯：jq