資料介紹
單機(jī)Web Spider的數(shù)據(jù)采集速度較慢,采用MPI技術(shù)或直接用Java開發(fā)分布式Web Spider代價較高。該文利用ProActive中間件提供的主動對象技術(shù)、網(wǎng)絡(luò)并行計(jì)算技術(shù)、自動部署機(jī)制設(shè)計(jì)實(shí)現(xiàn)了P-Spider分布式并行Web Spider。實(shí)驗(yàn)結(jié)果表明,該P(yáng)-Spider采集速率是單機(jī)多線程Web Spider的2.2倍。
關(guān)鍵詞:Web Spider程序;ProActive中間件;并行;分布式
關(guān)鍵詞:Web Spider程序;ProActive中間件;并行;分布式
下載該資料的人也在下載
下載該資料的人還在閱讀
更多 >
- AI框架的分布式并行能力的分析和MindSpore的實(shí)踐一混合并行和自動并行
- AI框架的分布式并行能力的分析和MindSpore的實(shí)踐一混合并行和自動并行
- 基于Simulink的電子對抗分布式仿真系統(tǒng) 26次下載
- 新型的分布式并行稠密矩陣乘算法 5次下載
- 基于分布式數(shù)據(jù)Cache的實(shí)時動態(tài)遷移機(jī)制 20次下載
- Spider67可擴(kuò)展分布式IO系統(tǒng)的用戶手冊 0次下載
- 基于Web的分布式計(jì)算機(jī)過程控制軟件設(shè)計(jì) 24次下載
- 分布式環(huán)境下的Web資源訪問控制研究
- 基于Web Services的分布式異構(gòu)系統(tǒng)應(yīng)用集成的研究
- 基于Web Service的遠(yuǎn)程分布式故障診斷專家系統(tǒng)
- Hash和存儲過程在分布式數(shù)字認(rèn)證中的應(yīng)用
- 分布式并行BOD系統(tǒng)資源管理算法研究
- 基于DSP的分布式并行遺傳算法
- 分布式并行服務(wù)器中的高性能通信研究
- 基于Web services的分布式企業(yè)信息整合模型
- Java手寫分布式鎖的實(shí)現(xiàn) 612次閱讀
- tldb提供分布式鎖使用方法 923次閱讀
- 基于PyTorch的模型并行分布式訓(xùn)練Megatron解析 3196次閱讀
- 深入理解redis分布式鎖 988次閱讀
- 鴻蒙分布式相機(jī)“踩坑”分享 1910次閱讀
- 詳解Zabbix分布式監(jiān)控平臺建設(shè) 888次閱讀
- Redis分布式鎖真的安全嗎? 1029次閱讀
- 利用NI VeriStand 2010實(shí)現(xiàn)分布式同步系統(tǒng)的設(shè)計(jì) 3437次閱讀
- 詳談分布式系統(tǒng)的定義及屬性 3896次閱讀
- 分布式光纖傳感器原理_分布式光纖傳感器的應(yīng)用 8835次閱讀
- Redis 分布式鎖的正確實(shí)現(xiàn)方式 3615次閱讀
- 淺談分布式塊存儲的元數(shù)據(jù)服務(wù)設(shè)計(jì) 4951次閱讀
- 并行計(jì)算和分布式計(jì)算的區(qū)別和聯(lián)系 3.6w次閱讀
- 深度解讀分布式存儲技術(shù)之分布式剪枝系統(tǒng) 1861次閱讀
- 分布式電源應(yīng)用若干問題解答 1378次閱讀
下載排行
本周
- 1DC電源插座圖紙
- 0.67 MB | 2次下載 | 免費(fèi)
- 2AN158 GD32VW553 Wi-Fi開發(fā)指南
- 1.51MB | 2次下載 | 免費(fèi)
- 3AN148 GD32VW553射頻硬件開發(fā)指南
- 2.07MB | 1次下載 | 免費(fèi)
- 4AN111-LTC3219用戶指南
- 84.32KB | 次下載 | 免費(fèi)
- 5AN153-用于電源系統(tǒng)管理的Linduino
- 1.38MB | 次下載 | 免費(fèi)
- 6AN-283: Σ-Δ型ADC和DAC[中文版]
- 677.86KB | 次下載 | 免費(fèi)
- 7SM2018E 支持可控硅調(diào)光線性恒流控制芯片
- 402.24 KB | 次下載 | 免費(fèi)
- 8AN-1308: 電流檢測放大器共模階躍響應(yīng)
- 545.42KB | 次下載 | 免費(fèi)
本月
- 1ADI高性能電源管理解決方案
- 2.43 MB | 450次下載 | 免費(fèi)
- 2免費(fèi)開源CC3D飛控資料(電路圖&PCB源文件、BOM、
- 5.67 MB | 138次下載 | 1 積分
- 3基于STM32單片機(jī)智能手環(huán)心率計(jì)步器體溫顯示設(shè)計(jì)
- 0.10 MB | 130次下載 | 免費(fèi)
- 4使用單片機(jī)實(shí)現(xiàn)七人表決器的程序和仿真資料免費(fèi)下載
- 2.96 MB | 44次下載 | 免費(fèi)
- 53314A函數(shù)發(fā)生器維修手冊
- 16.30 MB | 31次下載 | 免費(fèi)
- 6美的電磁爐維修手冊大全
- 1.56 MB | 24次下載 | 5 積分
- 7如何正確測試電源的紋波
- 0.36 MB | 17次下載 | 免費(fèi)
- 8感應(yīng)筆電路圖
- 0.06 MB | 10次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935121次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計(jì)
- 1.48MB | 420062次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233088次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191367次下載 | 10 積分
- 5十天學(xué)會AVR單片機(jī)與C語言視頻教程 下載
- 158M | 183335次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81581次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費(fèi)下載
- 0.02 MB | 73810次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65988次下載 | 10 積分
評論