99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

虛擬機(jī):Hadoop集群的測試

如意 ? 來源:百家號 ? 作者: 程序員陌然 ? 2020-07-01 13:03 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

一、格式化文件系統(tǒng)

通過前面的學(xué)習(xí),此時還不能直接啟動集群,因?yàn)樵诔醮螁親DFS集群時,編寫對主節(jié)點(diǎn)進(jìn)行格式化處理,具體指令如下:

hdfs namenode -format(只需要在主節(jié)點(diǎn)運(yùn)行即可或hadoop namenode -format)

執(zhí)行以上任意一條命令若出現(xiàn)“successfully formatted”文字表示格式化成功,然后就可以啟動集群了。

二、啟動和關(guān)閉Hadoop集群

1.單個節(jié)點(diǎn)逐個啟動和關(guān)閉

a.在主節(jié)點(diǎn)運(yùn)行namenode進(jìn)程

hadoop-daemon.sh start namenode

b.在每個從節(jié)點(diǎn)運(yùn)行datanode進(jìn)程

hadoop-daemon.sh start datanode

c.在主節(jié)點(diǎn)運(yùn)行yarn resourcemanger進(jìn)程

yarn-daemon.sh start resourcemanager

d.在每個從節(jié)點(diǎn)運(yùn)行yarn nodemanger進(jìn)程

yarn-daemon.sh start nodemanager

e.在規(guī)劃節(jié)點(diǎn)hadoop02使用以下指令啟動secondarynamenode進(jìn)程

hadoop-daemon.sh start secondarynamenode

運(yùn)行完成以上進(jìn)程命令,如何判斷是否成功?需要jps命令查看當(dāng)前虛擬機(jī)進(jìn)程,hadoop01是四個進(jìn)程hadoop02是三個進(jìn)程hadoop03是兩個進(jìn)程

2.腳本一鍵啟動和關(guān)閉

(1)在主節(jié)點(diǎn)hadoop01上使用以下指令啟動所有HDFS服務(wù)進(jìn)程:

start-dfs.sh

(2)在主節(jié)點(diǎn)hadoop01上使用以下指令啟動所有YARN服務(wù)進(jìn)程:

start-yarn.sh

如果需要停止相關(guān)服務(wù)進(jìn)程,只需要將start改為stop即可(即stop-dfs.sh和stop-yarn.sh)

hadoop01 192.168.21.164

通過訪問以上IP+端口地址(50070 8088兩個端口)

http:192.168.21.164:50070http:192.168.21.164:8088

如果沒有關(guān)閉防火墻,可能導(dǎo)致無法訪問,則使用以下命令關(guān)閉防火墻:

systemctl stop firewalld(三臺機(jī)器都要關(guān)閉)

如果以主機(jī)名來訪問二大集群

http://hadoop01:50070http://hadoop01:8088

則必須配置宿主機(jī)hosts文件在C:\Windows\System32\drivers\etc填寫如下內(nèi)容:

192.168.21.164 hadoop01192.168.21.165 hadoop02192.168.21.166 hadoop03

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 集群
    +關(guān)注

    關(guān)注

    0

    文章

    111

    瀏覽量

    17436
  • 虛擬機(jī)
    +關(guān)注

    關(guān)注

    1

    文章

    966

    瀏覽量

    29369
  • Hadoop
    +關(guān)注

    關(guān)注

    1

    文章

    90

    瀏覽量

    16470
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    什么是虛擬機(jī)?虛擬機(jī)真的那么好用嗎?

    在日新月異的科技世界中,虛擬化技術(shù)如同一座橋梁,連接著現(xiàn)實(shí)與數(shù)字的鴻溝,為我們打開了全新的計算維度。虛擬機(jī),這一概念,自其誕生以來,就以其獨(dú)特的魅力和強(qiáng)大的功能,深深地影響了軟件開發(fā)、系統(tǒng)測試和云
    的頭像 發(fā)表于 07-06 08:05 ?463次閱讀
    什么是<b class='flag-5'>虛擬機(jī)</b>?<b class='flag-5'>虛擬機(jī)</b>真的那么好用嗎?

    學(xué)hadoop需要什么基礎(chǔ)

    :⑦ 需要掌握虛擬機(jī);⑧ 需要安裝linux操作系統(tǒng)⑨ 需要配置虛擬機(jī)網(wǎng)絡(luò)除了上述這幾個方面,我們還需要了解hadoop的單機(jī)模式、偽分布模式和分布式模式的搭建方式。了解MapReduce分布式計算
    發(fā)表于 09-20 16:00

    Hadoop集群環(huán)境部署說明

    Hadoop集群環(huán)境搭建是很多學(xué)習(xí)hadoop學(xué)習(xí)者或者是使用者都必然要面對的一個問題,網(wǎng)上關(guān)于hadoop集群環(huán)境搭建的博文教程也蠻多的。
    發(fā)表于 10-12 15:51

    超詳細(xì)Dkhadoop虛擬機(jī)圖文安裝步驟

    時經(jīng)驗(yàn)為基礎(chǔ),給大家整理分享虛擬機(jī)的安裝、操作系統(tǒng)安裝、服務(wù)器操作系統(tǒng)配置、DKH系統(tǒng)安裝等相關(guān)內(nèi)容。文章篇幅可能會比較長,所以每篇就只分享一到兩個點(diǎn)。本篇給大家分享DKHadoop虛擬機(jī)的環(huán)境安裝
    發(fā)表于 01-07 15:57

    hadoop集群的NameNod

    hadoop集群部署
    發(fā)表于 08-20 14:33

    hadoop集群配置方法

    hadoop集群配置
    發(fā)表于 09-30 14:16

    hadoop集群搭建的準(zhǔn)備

    hadoop集群搭建系列(step01:集群搭建準(zhǔn)備)
    發(fā)表于 03-31 09:47

    求一種基于集群的技術(shù)和基于虛擬機(jī)重啟的技術(shù)

    什么是IBM Power Systems的地理分散彈性?災(zāi)難恢復(fù)和高可用性(HA)解決方案主要基于兩種技術(shù):基于集群的技術(shù)和基于虛擬機(jī)重啟的技術(shù)。 群集高可用性和災(zāi)難恢復(fù)解決方案通常會部署冗余的硬件
    發(fā)表于 12-29 06:23

    如何搭建hadoop平臺_hadoop平臺搭建步驟

    如何搭建hadoop平臺如下所示,一、虛擬機(jī)及系統(tǒng)安裝二、在虛擬機(jī)中配置JAVA環(huán)境三、修改hosts...
    發(fā)表于 01-02 09:29 ?9346次閱讀

    云環(huán)境下虛擬機(jī)集群系統(tǒng)動態(tài)負(fù)載均衡機(jī)制

    針對傳統(tǒng)的物理集群系統(tǒng)無法靈活應(yīng)對大型互聯(lián)網(wǎng)應(yīng)用的問題,提出一種云環(huán)境下虛擬機(jī)集群的綜合負(fù)載均衡機(jī)制。該方法首先定期地采集集群虛擬機(jī)節(jié)點(diǎn)的
    發(fā)表于 01-24 15:13 ?0次下載

    你會用VMware虛擬機(jī)安裝Linux系統(tǒng)?

    由于要搭建Oracle RAC集群需要模擬環(huán)境,所以需要利用VMware虛擬機(jī)安裝集群節(jié)點(diǎn)環(huán)境,本章節(jié)介紹如何利用VWware虛擬機(jī)安裝centos系統(tǒng)(Linux)。
    發(fā)表于 05-13 10:27 ?2833次閱讀
    你會用VMware<b class='flag-5'>虛擬機(jī)</b>安裝Linux系統(tǒng)?

    虛擬機(jī):Linux如何測試 DBUS Daemon

    虛擬機(jī):Linux如何測試 DBUS Daemon
    的頭像 發(fā)表于 06-22 16:35 ?4641次閱讀
    <b class='flag-5'>虛擬機(jī)</b>:Linux如何<b class='flag-5'>測試</b> DBUS Daemon

    虛擬機(jī)Hadoop集群的搭建

    虛擬機(jī)Hadoop集群的搭建
    的頭像 發(fā)表于 07-01 13:03 ?3466次閱讀
    <b class='flag-5'>虛擬機(jī)</b>:<b class='flag-5'>Hadoop</b><b class='flag-5'>集群</b>的搭建

    虛擬機(jī)Hadoop集群的配置

    虛擬機(jī)Hadoop集群的配置
    的頭像 發(fā)表于 07-01 14:14 ?2989次閱讀

    怎么安裝linux虛擬機(jī)

    在計算機(jī)領(lǐng)域,虛擬機(jī)是一種軟件程序,它允許在主操作系統(tǒng)上運(yùn)行多個虛擬操作系統(tǒng)。Linux虛擬機(jī)在開發(fā)、測試和學(xué)習(xí)等環(huán)境中得到廣泛應(yīng)用。本文將詳細(xì)介紹如何安裝Linux
    的頭像 發(fā)表于 11-23 10:50 ?1497次閱讀