亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

CentOs6搭建Hadoop1.2.1分布式集群

系統(tǒng) 3117 0
系統(tǒng):CentOs6? 64位

環(huán)境:1臺(tái)namenode???? 2臺(tái)datanode?? 用戶名全是gird

master???? 192.168.1.103

slave1????? 192.168.1.104

slave2????? 192.168.1.107



具體的安裝步驟如下:

1、下載jdk1.6以及hadoop1.2.1(去官網(wǎng)下載即可,都是64位)

2、使用filezilla將jdk和hadoop上傳至master服務(wù)器,jdk上傳至slave1服務(wù)器和slave2服務(wù)器

3、設(shè)置host,命令如下:

???? vi /etc/sysconfig/network????? 將HOSTNAME=master

???? vi /etc/hosts????? 設(shè)置如下內(nèi)容:

???? 192.168.1.103 master
???? 192.168.1.104 slave1
???? 192.168.1.107 slave2

???? slave1和slave2除了HOSTNAME為slave1和slave2????? hosts的配置一樣

???? 可以使用hostname來驗(yàn)證是否已經(jīng)修改

???? 使用ping? master/slave1/slave2 來驗(yàn)證是否通訊暢通

4、關(guān)閉防火墻

??? master、slave1、slave2分別使用root權(quán)限關(guān)閉防火墻,命令如下:

??? service iptables stop

??? chkconfig iptables off

5、SSH免密碼登錄

??? master、slave1、slave2分別使用grid用戶,在/home/grid下運(yùn)行ssh-keygen -t rsa

??? master服務(wù)器使用

??? scp id_rsa.pub grid@192.168.1.104:/home/grid/.ssh/authorized_keys

??? scp id_rsa.pub grid@192.168.1.107:/home/grid/.ssh/authorized_keys

??? 然后再做免登錄直連自己的操作

??? 將/home/grid/.ssh/id_rsa.pub內(nèi)容復(fù)制到authorized_keys中

??? slave1和slave2也做同樣的操作

??? 最后的效果如下:

??? CentOs6搭建Hadoop1.2.1分布式集群

6、使用grid用戶在master上安裝hadoop,如下圖:
??
???
7、安裝jdk
?? sudo yum install jdk-6u31-linux-amd64.rpm --nogpgcheck
?? 有提示的話輸入"y"
8、進(jìn)入hadoop安裝目錄下的conf中,進(jìn)行一系列的配置,修改的文件有:

???? hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slaves
???? 1)修改hadoop-env.sh
?????
??????

???? 2)修改core-site.xml
???? CentOs6搭建Hadoop1.2.1分布式集群
?????

???? 3)修改hdfs-site.xml
???? CentOs6搭建Hadoop1.2.1分布式集群
?????

???? 4)修改mapred-site.xml
???? CentOs6搭建Hadoop1.2.1分布式集群
?????

???? 5)修改masters
????
????

???? 6)修改slaves
????
????



9、復(fù)制hadoop到slave1和slave2,如下圖:
??
??
????

????



10、在master中格式化HDFS,如下圖:
?? CentOs6搭建Hadoop1.2.1分布式集群
???



11、啟動(dòng)hadoop,在如下圖:hadoop-1.2.1下運(yùn)行./bin/start-all.sh
?? CentOs6搭建Hadoop1.2.1分布式集群
???



12、驗(yàn)證hadoop是否啟動(dòng)成功:

???

???

???
???????



????


總結(jié):在安裝的過程中遇到了很多的問題,前前后后弄了1天半,使用不同的用戶安裝了一次,不成功,然后重新刪除系統(tǒng),使用統(tǒng)一的grid用戶進(jìn)行安裝配置,在啟動(dòng)hadoop的時(shí)候提示輸入“yes”,還以為是沒有配置好免密碼登錄,可是驗(yàn)證沒有問題,原來是這樣的,第一次啟動(dòng)hadoop的時(shí)候提示輸入,第二次開始就不會(huì)提示了,再有其他的就是在格式化HDFS的時(shí)候,忘記切換用戶了,結(jié)果使用的是root,也導(dǎo)致不能正常啟動(dòng)hadoop。

CentOs6搭建Hadoop1.2.1分布式集群


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會(huì)非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 亚洲国内精品久久 | 国产精品一区二区手机看片 | 中文xxx视频 | 四虎在线播放免费永久视频 | 中文毛片| 免费亚洲一区 | 国产在线精品一区二区高清不卡 | 97视频在线观看免费视频 | 26uuu色噜噜欧美在线播放 | 亚洲天堂国产 | 欧美成人69| 99久久免费观看 | 欧美成人片在线 | 中文字幕一区二区区免 | 99久久99视频 | 免费一级a毛片免费观看欧美大片 | 亚洲综合极品香蕉久久网 | 一级黄色录像免费看 | 在线观看中文字幕国产 | 亚洲第二区 | 尹人久久 | 干亚洲美女 | 精品视频香蕉尹人在线 | 精品久久久久国产免费 | 久久亚洲精品中文字幕二区 | 日本一级淫一片免费 | 国产亚洲一区二区三区在线观看 | 欧美性xxxx偷拍 | 国产精品福利视频手机免费观看 | 欧美αv| 精品综合网 | 欧美日韩国产一区二区三区欧 | 久久99网| 97成人资源| 欧美日韩免费大片 | 综合另类 | 神马视频我不卡 | 青草久久精品 | 久久久久久久久性潮 | 免费小视频 | 豆国产97在线 | 亚洲 |