用ruby写的web抓取小工具
最近由于学习使用linux下的C开发，需要查询Linux C函数参考，就经常上http://man.chinaunix.net/develop/c&c++/linux_c/default.htm查看，描述得比较详细而且还有例子。
网上还有许多各种技术的网页格式的参考材料都非常强大，可惜很多时候都没有网。于是就想写个脚本可以把文档下载，像android开发者文档一样弄到本地来，用起来就方便多了，要是用CHM工具打成chm格式就更好了。
于是就动手用ruby写了这么个脚本，把网页读取下来，保存到本地，同时下载网页中的样式、JS文件以及图片等文件，并替换相应的链接，尽量保持网页的效果。整个程序大约300行，尝试地抓取了几个网站都挺好，保留了样式、超链接甚至部分的JS。除此之外，它还能限制下载文件的类型和大小，可以……
当然,bug还很多，而且网页的HTML内容过于灵活和复杂，很多东西搞下来可能就面目全非了，真正要写一个好的parser果然是相当复杂- -!
下面是代码的注释，完整文件可在此下载。
#定义一个模块,打印日志
module Log
def Log.i(msg)
print "[INFO]#{msg}\n"
end
def Log.e(msg)
print "[ERROR]#{msg}\n"
end
end
#定义一个类，用于封装加入到队列中的url，包含了url的链接深度和待保存的文件名的信息
class UrlObj
attr_accessor :url,:depth,:save_name
def initialize(url,depth,save_name)
@url=url
@save_name=save_name
@depth=depth
end
def info#解析得到url中的信息
return @info if @info
begin
@info=URI.parse(@url)
return @info
rescue Exception=>e
Log.e e
return nil
end
end
def domain#获取url中的域名
if @domain
return @domain
elsif !info
Log.e("#{@url}'s host is nil")
return nil
elsif !info.host
Log.e("#{@url}'s host is nil")
return nil
else
return info.host[/\w+\.\w+$/]
end
end
end
接下来是最主要的一类WebSnatcher:
class WebSnatcher
THREAD_SLEEP_TIME=0.5#定义常量，线程睡眠时间
HTTP_RETRY_TIMES=3#设置打开链接的重试次数
#初始化类变量和各种设置参数
def initialize(opt={})
@url_to_download=[]#待下载的url容器
@url_to_download_count=0#待下载的url数量
相关文档：
三者之间区别并不像你想的那么难，也不会像有些文章写的那么长。挺简单的。
相同之处：三者均在kernel中定义的，均含有包含进某物之意。
不同之处：
1、requre,load用于文件，如.rb等等结尾的文件。
2、include则用于包含一个文件(.rb等结尾的文件)中的模块。
3、requre一般情况下用于加载库文件，而load则用于加载� ......
文章转自 http://www.ej38.com/showinfo/Ruby-140367.html
过程如下：
1、ruby下载一键安装：
http://rubyforge.org/frs/download.php/29263/ruby186-26.exe
ruby -v 显示版本，安装成功
2、下载rubygems安装：
http://rubyforge.org/frs/download.php/60719/rubygems-1.3.5.zip
解压，ruby setup.rb
g ......
#一、这里是注释，是单行注释，类似于//
puts 3/5#这里是整数形式的结果
puts 3/5.0#这里是小数形式的结果
=begin
这是多行注释，实际上这也是Ruby内嵌文档格式，类似于Java doc
=end不但要有起止，还要缩进才有用。
=end
#二、连行
puts "Hello Ruby!"; puts "This is a "\
"String";# ......
Beginning Ruby from Novice To Perfessional
Head First Rails
Agile Web Development with Rails 3rd Edition(new)
Agile Web Development with Rails 3rd Edition
Agile Web Development with Rails 3rd Editio ......
To get it done is not easy. I spent a whole day to figure out the various compatibility issues along the way out.
Now there still might be potential issues, but it works by my rough test.
Step 1: Install Apache Cassandra
You may know that the Ruby gem cassandra will do it for you.
......
