<!-- @page { margin: 2cm } P { margin-bottom: 0.21cm } A:link { so-language: zxx } -->
1 、下載 nutch-1.0.tar.gz. http://apache.etoak.com/lucene/nutch/
2 、解壓縮 nutch-1.0.tar.gz, 放在自己熟悉的目錄下面,比如 workspace.
3 、解壓完后會有一個目錄: webapps. 這個目錄是 hadoop 自己所對應的頁面。
datanode 、 hdfs 、 job 、 secondary 、 static 、 task
4 、下載 tomcat 。 5.5 版本以上的都行,然后進行配置。 Sudo gedit /etc/profile 配置你的 JAVA_HOME 、 TOMCAT_HOME.
5 、打開 tomcat 的 conf/server.xml 。配置一個虛擬的目錄
<Context path="/crawl" docBase="/home/user/tools/nutch-1.0/webapps/task/" reloadable="true" debug="0"/>
6 、在 task 的目錄下面就可有寫 jsp 頁面了。在 task 下有一個 WEB-INF. 在它下面建立一個 classes 文件夾。這里面主要放的是 .class 和 lib.
7 、 nutch 所編譯生成的 .class 文件和所需要的 lib 都要拷貝到 /WEB-INF/classes/.
8 、最主要的是在 nutch1.0 的目錄下面有一個 plugins 。這個也要放在 /WEB-INF/classes/.
9 、同時拷貝完了還不行,因為還沒有做一些其它的相應配置:
<a> : hadoop-env.sh 改變 JAVA_HOME.
<b> : crawl-urlfilter.txt 改變抓取的 URL.
<c> : regex-urlfilter.txt 屏蔽 URL 的后綴 .
<d> :所拷貝的 plugins 文件目錄需和 nutch-default.xml 放在同一目錄下面,如果不是需要改變 nutch-default.xml 中配置 plugin 的路徑。
要不然會報 plugin.floders not find 等錯誤。
10 、因為我們是在頁面來啟動 nutch 的,當然 nutch 所抓取的頁面得有存放位置。目前我是放在 /tomcat/bin/ : 在這個目錄下面我建立了
myUrls ---- > url.txt -----> http://www.163.com/
crawl : 存放抓取完后頁面存放路徑。
11 、頁面的部分就很簡單了。兩個輸入框 : dept 、 topN. 如果想加 thread ,也可以。然后就是提交。可以是一個 jsp 也可以是一個 servlet.( 注意要把所編譯 的 .class 文件放到 /WEB-INF/classes/).
12 、打開瀏覽器啟動下試試。不報錯說明它已經啟動了,或者是去 tomcat/bin/crawl/ 看看有沒有東東。
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
