一、tomcat的安装

1. 下载tomcat，下载地址为：

2.  解压下载下来的文件，tar zxvf ....

3. 进入解压后的文件，运行/bin文件下的startup.sh，启动tomcat服务器。

4. 在浏览器中输入http://locahost:8080/， 若出现apache Tomcat的界面，则说明正常。

5.若要关闭tomcat服务器，则输入bin文件的shutdown.sh即可

二、nutch1.2的安装

1.下载nutch1.2软件。下载地址为：

2.解压，把解压后的文件夹nutch-1.2拷贝到/usr/local中，

3.进入/usr/local/nutch-1.2，

4.创建weburls.txt

在nutch-1.2下新建一个文本文件，命名为"weburls.txt"，输入"http://www.163.com"

5.修改crawl-urlfilter.txt中的参数

从终端打开craw-urlfilter.txt，依次输入以下命令

cd /usr/local/nutch-1.2/conf/

vim crawl-urlfilter.txt

修改倒数第二行的内容，将"+^http://([a-z0-9]*\.)*Y.DOMAIN.NAME/"改为入“+^http://([a-z0-9]*\.)*163.com/”

6.修改nutch-site.xml文件中的内容：

在终端输入vim nutch-site.xml

在该文件中输入以下内容：

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="http://luorenhuan.blog.163.com/blog/configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>http.agent.name</name>

<value>HD nutch agent</value>

</property>

<property>

<name>http.agent.version</name>

<value>1.2</value>

</property>

</configuration>

7.运行网络蜘蛛抓紧网页。输入以下命令：

 bin/nutch crawl weburls.txt -dir localweb -depth 2 -topN 100 -threads 2

-dir = localweb  指明下载数据存放路径，该目录不存在时，会被自动创建

-deptch = 2       下载深度为2

-topN = 100      下载符合条件的前100个页面

-threads = 2       启动的线程数目

蜘蛛运行时会输出大量数据，抓取结束之后，可以发现localweb目录被生成，里面有几个目录。

三、在Tomcat中部署Nutch项目

1. 复制nutch-1.2

将Nutch根目录下的nutch-1.2.war文件放置到"/usr/local/tomcat-7.0.40/webapps"，稍等会儿，Tomcat便会将其解压

注：

此时要重启tomcat，即先./shutdown.sh，然后./startup.sh，不然可能在进行搜索时，无法出现结果

2. 修改nutch-site.xml

在上述目录下的"/usr/local/tomcat-7.0.40/webapps/nutch-1.2/WEB-INF/classes"，加入以下内容：

<property>

    <name>searcher.dir</name>

    <value>/usr/local/nutch-1.2/localweb</value>

    <description></description>

</property>

上面的value要改成第三步蜘蛛的下载目录,Tomcat就是从这个存取Nutch抓下来的东西的文件夹中读取数据的，所以必须保证两者的准确一致。

3. 使用Nutch搜索

在浏览器中输入“http://localhost:8080/nutch-1.2”，可以看到Nutch的主页面，如图：

 

此时搜索一下"网易"，发现搜索到很多符合的记录，但是显示的都是乱码，此时需要修改tomcat的位置文件，

打开"/usr/local/tomcat-7.0.40/conf/server.xml"，将Connector这个元素改成一下内容：

<Connector port="8080" protocol="HTTP/1.1" 

connectionTimeout="20000" 

    redirectPort="8443" 

URIEncoding="UTF-8"  

useBodyEncodingForURI="true"/>

也许你的serve.xml文件中此行不是这样，多或少了一些属性，但不要紧，重要的就是加粗的部分。作用的也一目了然，就是设置字符编码的。      

搜索结果如下：

以上就是安装Tomcat+Nutch的全部过程!

参考：

1.