資料介紹
MPP最開始的設計目的是為了消除共享資源的使用,即每個executor有獨立的cpu、內(nèi)存和磁盤等資源,每個executor一般不能訪問其他executor的資源。但是有一種情況例外,那就是當數(shù)據(jù)必須要通過網(wǎng)絡進行交換的時候(譯者注:即shuffle)。這種設計理念效果很好,使MPP具有了比較湊合的擴展性。
MPP的第二個重概念是“并發(fā)”,即每個executor執(zhí)行同樣的數(shù)據(jù)處理邏輯,處理的數(shù)據(jù)則是這個executor所在的節(jié)點的本地存儲的數(shù)據(jù)分片,在這些執(zhí)行步驟中,有一些被稱為同步點(synchronization points)的東東,這些同步點多數(shù)情況下是在執(zhí)行節(jié)點間的數(shù)據(jù)交換,比如spark和mr中得shuffle操作。下圖是一個典型的MPP查詢時間線,垂直的虛線表示同步點,例如,如果遇到join或者aggregation(譯者注:即sql中的group by)操作,就需要一個同步操作來完成shuffle,而task本身(譯者注:executor是進程級概念,task是executor內(nèi)部的線程)則執(zhí)行的是數(shù)據(jù)聚合、join、排序以及其他可以在本節(jié)點獨立完成的任務。
- ChatGPT:AI模型框架研究 9次下載
- 開源霧計算軟件框架FogLAMP介紹(二):FogLAMP介紹
- 開源霧計算軟件框架FogLAMP介紹(三):FogLAMP架構(gòu)分析
- 基于boosting框架的混合秩矩陣分解模型 13次下載
- 一種基于框架特征的共指消解方法 7次下載
- 什么是框架?MATLAB的單元測試框架中文版資料詳細概述 0次下載
- C++的框架、庫和資源資料匯總大全
- 如何使用Spark計算框架進行分布式文本分類方法的研究 3次下載
- 基于迭代填充的內(nèi)存計算框架分區(qū)映射算法 0次下載
- 基于云計算的監(jiān)控與統(tǒng)計 10次下載
- MFC框架窗口界面設計 0次下載
- LC諧振計算器(C# .NET2.0框架) 0次下載
- Struts和Spring兩種MVC框架的比較 0次下載
- 手把手教你寫批處理-批處理的介紹
- 批處理常用命令大全 0次下載
- 一文詳解計算型存儲協(xié)議框架 490次閱讀
- TensorFlow與PyTorch深度學習框架的比較與選擇 1018次閱讀
- Python自動化測試框架及其應用 579次閱讀
- GPT推斷中的批處理(Batching)效應簡析 749次閱讀
- API測試框架Grillon概述 2057次閱讀
- qiling框架和AFLplusplus安裝 2040次閱讀
- 基于SSM框架的新聞管理系統(tǒng) 1384次閱讀
- 一個高性能異步計算框架介紹 827次閱讀
- cartography框架安裝與建圖測試 1482次閱讀
- 可信增強的Flask訪問控制框架的總體應用設計和實施方法 2789次閱讀
- 現(xiàn)在流行的Web APP開發(fā)框架有哪些 1.1w次閱讀
- 邊緣計算的兩種處理機制介紹 4054次閱讀
- 嵌入式應用框架EAF詳解 2892次閱讀
- 什么是Hibernate?Hibernate框架架構(gòu)與框架原理分析 5313次閱讀
- 采用Xilinx Zynq SoC 為云計算提速 1072次閱讀
下載排行
本周
- 1DC電源插座圖紙
- 0.67 MB | 2次下載 | 免費
- 2AN158 GD32VW553 Wi-Fi開發(fā)指南
- 1.51MB | 2次下載 | 免費
- 3AN148 GD32VW553射頻硬件開發(fā)指南
- 2.07MB | 1次下載 | 免費
- 4AN111-LTC3219用戶指南
- 84.32KB | 次下載 | 免費
- 5AN153-用于電源系統(tǒng)管理的Linduino
- 1.38MB | 次下載 | 免費
- 6AN-283: Σ-Δ型ADC和DAC[中文版]
- 677.86KB | 次下載 | 免費
- 7SM2018E 支持可控硅調(diào)光線性恒流控制芯片
- 402.24 KB | 次下載 | 免費
- 8AN-1308: 電流檢測放大器共模階躍響應
- 545.42KB | 次下載 | 免費
本月
- 1ADI高性能電源管理解決方案
- 2.43 MB | 450次下載 | 免費
- 2免費開源CC3D飛控資料(電路圖&PCB源文件、BOM、
- 5.67 MB | 138次下載 | 1 積分
- 3基于STM32單片機智能手環(huán)心率計步器體溫顯示設計
- 0.10 MB | 130次下載 | 免費
- 4使用單片機實現(xiàn)七人表決器的程序和仿真資料免費下載
- 2.96 MB | 44次下載 | 免費
- 53314A函數(shù)發(fā)生器維修手冊
- 16.30 MB | 31次下載 | 免費
- 6美的電磁爐維修手冊大全
- 1.56 MB | 24次下載 | 5 積分
- 7如何正確測試電源的紋波
- 0.36 MB | 17次下載 | 免費
- 8感應筆電路圖
- 0.06 MB | 10次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935121次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設計
- 1.48MB | 420062次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233088次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191367次下載 | 10 積分
- 5十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183335次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81581次下載 | 10 積分
- 7Keil工具MDK-Arm免費下載
- 0.02 MB | 73810次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65988次下載 | 10 積分
評論