1.Hellowhadoop~~!Hadoop（某人兒子的一只虛擬大象的名字）是一個(gè)復(fù)雜到極致，又簡單到極致的東西。說它復(fù)雜，是因?yàn)橐粋€(gè)hadoop集群往往有幾十臺甚至成百上千臺lowcost的計(jì)算機(jī)組成，你運(yùn)行的每一個(gè)任務(wù)都要在這些計(jì)算機(jī)上做任務(wù)的分發(fā)，執(zhí)行中間數(shù)據(jù)排序以及最后的匯總，期間還包含節(jié)點(diǎn)發(fā)現(xiàn)，任務(wù)的重試，故障節(jié)點(diǎn)替換等等等等的維護(hù)以及異常情況處理。誰叫hadoop集群往往都是由一些平民計(jì)算機(jī)組成，沒事兒罷個(gè)工什么的，實(shí)在是再尋常不過的事情。而
系統(tǒng) 2019-08-12 09:30:30 2918
一、安裝環(huán)境Ubuntuserver12.04安裝gmetad的機(jī)器：192.168.52.105安裝gmond的機(jī)器：192.168.52.31，192.168.52.32，192.168.52.33，192.168.52.34，192.168.52.35，192.168.52.36，192.168.52.37，192.168.52.38，192.168.52.105瀏覽監(jiān)控web頁面的機(jī)器：192.168.52.105二、介紹Ganglia監(jiān)控套件包括
系統(tǒng) 2019-08-12 09:27:06 2914
本文發(fā)表于本人博客。前面幾次講了關(guān)于Hadoop的環(huán)境搭建、HDFS操作，今天接著繼續(xù)。本來Hadoop源碼中就有一個(gè)例子WordCount,但是今天我們來自己實(shí)現(xiàn)一個(gè)加深對這個(gè)Mapper、Reducer的理解，如有不對歡迎指正。我們先來梳理一下思路，對于自定義Mapper以及Reducer，我們先要覆蓋其map以及reduce函數(shù)，然后按照相關(guān)步驟比如設(shè)置輸入文件目錄、輸入文件格式化類、設(shè)置自定義Mapper、分區(qū)、排序、分組、規(guī)約、設(shè)置自定義Redu
系統(tǒng) 2019-08-12 09:27:04 2885
第一個(gè)Hadoop下的Wordcount程序這次的源碼是用的Hadoop實(shí)戰(zhàn)的源碼首先將源碼拷貝進(jìn)Linux下的工作目錄下，在/home/hadoop/workspace下。導(dǎo)入兩個(gè)測試文件echo"HelloWorldByeWorld"file01echo"HelloHadoopByeHadoop"file02創(chuàng)建一個(gè)Jar包目錄：mkdirFirstJar編譯Java文件至FirstJar下：javac-classpath/usr/hadoop/had
系統(tǒng) 2019-08-12 09:27:20 2879
一.hadoop2.0的目錄結(jié)構(gòu)如下圖所示二.bin目錄Hadoop最基本的管理腳本和使用腳本所在目錄，這些腳本是sbin目錄下管理腳本的基礎(chǔ)實(shí)現(xiàn)，用戶可以用這些腳本管理和使用hadoop三.etc目錄hadoop配置文件所在的目錄，包括core-site.xml、hdfs-site.xml、mapred-site.xml等從hadoop1.0繼承而來的配置文件和yarn-site.xml等hadoop2.0新增的文件。.template是模板文件四.in
系統(tǒng) 2019-08-12 09:30:36 2873
