利用Python抓取和解析网页(上)
对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说，经常用到对网页(即HTML文件)的解析处理。事实上，通过Python语言提供的各种模块，我们无需借助Web服务器
或
者Web浏览器就能够解析和处理HTML文档。本文将详细介绍如何利用Python抓取和解析网页。首先，我们介绍一个可以帮助简化打开位于本地和Web
上的HTML文档的Python模块，然后，我们论述如何使用Python模块来迅速解析在HTML文件中的数据，从而处理特定的内容，如链接、图像和
Cookie等。最后，我们会给出一个规整HTML文件的格式标签的例子，通过这个例子您会发现使用python处理HTML文件的内容是非常简单的一件
事情。
一、解析URL
通过Python所带的urlparse模块，我们能够轻松地把URL分解成元件，之后，还能将这些元件重新组装成一个URL。当我们处理HTML 文档的时候，这项功能是非常方便的。
import
urlparse
parsedTuple
=
urlparse.urlparse(
"
http://www.google.com/search?
hl
=
en
&
q
=
urlparse
&
btnG
=
Google
+
Search
"
)
unparsedURL
=
urlparse.urlunparse((URLscheme, \
URLlocation, URLpath,
''
,
''
,
''
))
newURL
=
urlparse.urljoin(unparsedURL,
"
/module-urllib2/request-objects.html
"
)
函数urlparse(urlstring [, default_scheme [,
allow_fragments]])的作用是将URL分解成不同的组成部分，它从urlstring中取得URL，并返回元组 (scheme,
netloc, path, parameters, query, fragment)。注意，返回的这个元组非常有用，例如可以用来确定网络
协议(HTTP、FTP等等 )、服务器
地址、文件路径，等等。
函数urlunparse(tuple)的作用是将URL的组件装配成一个URL，它接收元组(scheme, netloc, path,
parameters, query, fragment)后，会重新组成一个具有正确格式的URL，以便供Python的其他HTML解析模块使用。
函数urljoin(base, url [, allow_fragments])
的作用是拼接URL，它以第一个参数作为其基地址，然后与第二个参数中的相对地址相结合组成一个绝对URL地址。函数urljoin在通过为URL基地址
附加新的文件名的方式来处理同一位置处的若干文件的时候格外有用。需要注意的是，如果基地址并非以字符/结尾的话，那么URL基地址最右边部分就会被这个
相对路径所替换。比如，URL的基�
相关文档：
Python中字符串被定义为引号之间的字符集合。Python支持使用成对的单引号或双引号，三引号包含的字符串。
使用索引操作符([])和切片操作符([:])可以得到子字符串。字符串有其特有的索引规则：第一个字符的索引是０
，最后一个字符的索引是-1。
加号(+)用于字符串连接运算，星号(*)则用于字符串重复。如下例：
pystr = " ......
http://blog.csdn.net/myan/archive/2008/01/07/2028545.aspx
http://blog.csdn.net/gashero/archive/2007/06/03/1636030.aspx
我感觉还是python应用更广一些，Ruby的RoR做Web框架好一些吧，至于perl，现在感觉实在有几分苦涩…… ......
Python和Ruby的对比，纠正一些误解
下面是我在看两篇关于Python和Ruby对比的文章时，所作的纠正，原文都是广泛流行的，比较好找。
------------------------------------------------------
《ruby和python的比较》更正一点事情
1、文档、开源项目、库支持，这些东西Ruby不要跟Python比，不是几个数量级的问题，何必貌� ......
一、什么是Python？
对于这种问题我们来百度一下就可以了。
“Python是一种开放源代码的脚本编程语言，这种脚本语言特别强调开发速度和代码的清晰程度。它可以用来开发各种程序，从简单的脚本任务到复杂的、面向对象的应用程序都有大显身手的地方。Python还被当作一种入门程序员最适合掌握的优秀语言，因为它免费、� ......
公司的代理可以直接穿墙，自由访问Twitter、Facebook等网站，这两天研究了一下Twitter提供的API，用python写了一个twitter client，只实现了基本功能，查看自己的twitter消息，也可以不验证，查看public的twitter消息。其他功能实现类似。主要函数如下：
def fetch_with_proxy(proxy, username, password, url):
&n ......
