hadoop任務(wù)分為map task和reduce task，當(dāng)map task執(zhí)行失敗后會(huì)重試，超過重試次數(shù)（mapred.map.max.attempts指定，默認(rèn)為4），整個(gè)job會(huì)失敗，這是我們不想看到的。
解決辦法：
hadoop提供配置參數(shù)“
mapred.max.map.failures.percent”解決這個(gè)問題。
如果一個(gè)Job有
200
個(gè)map task，該參數(shù)設(shè)置為
5
的話，則單個(gè)
job最多允許
10
個(gè)map task(200 x 5% =10)失敗，這是我想要的。
把下面配置放到mapred-site.xml文件中，重啟jobtracker（hadoop-daemon.sh stop/start jobtracker ），這下大家滿足了吧^_^
Xml代碼
- < property >
- < name > mapred.max.map.failures.percent </ name >
- < value > 5 </ value >
- </ property >
PS： reduce task有類似配置 mapred.max.reduce.failures.percent
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫作最大的動(dòng)力，如果您喜歡我的文章，感覺我的文章對(duì)您有幫助，請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請(qǐng)將微信支付二維碼保存到相冊(cè)，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
