【Nutch】Linux下Nutch分布式配置和使用
Linux下Nutch分布式配置和使用
目 录
介绍. 2
0 集群网络环境介绍. 2
1 /etc/hosts文件配置. 2
2 SSH无密码验证配置. 2
2.1配置所有节点之间SSH无密码验证. 2
3 JDK安装和Java环境变量配置. 3
3.1 安装 JDK 1.6 3
3.2 Java环境变量配置. 4
4 Hadoop集群配置. 4
5 Hadoop集群启动. 6
6 Nutch分布式爬虫. 9
6.1配置Nutch配置文件. 9
6.2 执行Nutch分布式爬虫. 10
7 Nutch检索. 13
7.1 Windows下Nutch单机搜索本地索引数据. 13
7.2 Linux下Nutch单机搜索本地索引数据. 14
7.2.1 WEB前端搜索. 14
7.2.2 命令行搜索. 15
7.3 Linux下Nutch搜索HDFS中索引数据. 15
7.3.1 WEB前端搜索. 16
7.3.2 命令行搜索. 17
附 Nutch-1.1 介绍. 18
介绍
这是本人在完全分布式环境下在Cent-OS中配置Nutch-1.1时的总结文档，但该文档适合所有Linux系统和目前各版本的nutch。
0 集群网络环境介绍
集群中所有节点均是Cent-OS系统，防火墙均禁用，sshd服务均开启；所有节点上均有一个名为nutch的用户(非超级用户，安装前root使用useradd添加)，用户主目录是/home/nutch。
集群包含三个节点：1个namenode，2个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下：
10.10.97.132 gc03vm12 namenode
10.10.97.142 gc04vm12 datanode01
10.10.97.144 gc04vm14 datanode02
本配置将Nutch安装在/home/nutch/nutchinstall目录下。一般最好建议安装在其它非主目录路径下，例如/usr/local下，但此时需要使nutch用户对目录有rwx权限（nutch用户对主目录有rwx权限），一般做法是root用户在/usr/local下创建一个目录，并修改该目录拥有者为nutch(chown –R nutch:nutch 目录路径)。
1 /etc/hosts文件配置
namenode节点上vi /etc/hosts，将所有节点的名字和IP地址写入其中，写入如下内容，注意注释掉127.0.0.1行：
10.10.97.132 gc03vm12
10.10.97.142 gc04vm12
10.10.97.144 gc04vm14
# 127.0.0.1 centos54 localhost.local
相关文档：
#!/bin/sh
/sbin/modprobe ip_conntrack_ftp
CONNECTION_TRACKING="1"
ACCEPT_AUTH="0"
DHCP_CLIENT="0"
IPT="/sbin/iptables" # Location of iptables on your system
INTERNET="eth0" # Internet-connected interface
LO ......
http://blog.csdn.net/ren911/archive/2010/05/10/5576456.aspx
将asterisk移植到ppc__6xx环境下的嵌入式系统上的主要步骤：
在宿主机上asterisk源码包解压缩后的目录下:
1. ./configure CC=ppc_6xx_gcc --without_gnu_ld __host=ppc_linux
(过去有段时间了，大小写可能有点记不清楚)
2. make menuselect （选� ......
http://www.soidc.net/articles/1215484977397/20080407/1215945405315_1.html
一、在一个已建好的文件系统上进行修改
设已建立好的文件系统压缩文件为ramdisk.gz
1、解压
#cd ramdisk.gz所在目录
#gunzip ramdisk.gz
&nb ......
首先要有一台带有TPM 1.2芯片，装有linux系统的计算机。
使用下面这条命令可以查看系统内核tpm驱动情况：
$ ls -la /lib/modules/`uname -r`/kernel/drivers/char/tpm
总计 100
drwxr-xr-x 2 root root 4096 02-03 21:47 .
drwxr-xr-x 7 root root 4096 02-03 21:47 ..
-rwxr--r-- 1 root root 9812 01-21 15:27 tp ......
目录
2.1 普通文件；
2.2 目录；
2.3 字符设备或块设备文件；
2.4 套接口文件；
2.5 符号链接文件；
1、Linux文件的扩展名；
2、Linux 文件类型；
3、关于本文；
4、后记；
5、参考文档；
6、相关文档；
++++++++++++++++++++++++++++++++++++++
正文
++++++++++++++++++++++++++++++++++++++
1、 ......
