话说Python（五）开始起飞吧
小白对上节课里的“小麻雀”兴趣盎然，整天就在宿舍捣鼓。这不，几天下来他已经攻下十几个网站了。
小菜却喜欢一个人坐在电脑旁边，皱着眉头，欣赏着这一行行自己看不懂的代码。“这些字符好怪异呀！”小菜歪着头，“它为啥叫正则表达式呢？”
百度一下，终于知道。小菜在今天上课前似乎领悟到了正则表达式的真谛，心中窃喜：“今天我要好好显摆一下，看谁还说我菜。”
没想到，今天大牛老师却对正则表达式只字未提。
“首先，我们应该知道自己想要什么！”大牛老师向同学们讲道，仿佛是在上哲学课，“我们的爬虫Crawler想要得到什么呢？”
Crawler只有一个目的，那就是获取指定网页的内容，提取里面的链接。如此单一的目的如何实现呢？
现在我们可以猜想一下Crawler的构成：
1、Crawler必须有一个类是用来爬行的，名为Crawl。首先，它接收Control传递的两个队列：一个是提供地址的，一个是用来储存Crawl爬行得到的信息。
2、Crawler是基于多线程的，该类叫Worker。Crawl类在爬行时使用Worker实现多线程。Worker类会提供一个线程池，使爬行有序、稳定和快速。
3、Crawler必须有一个类来记录网页的相关信息，包括链接关系、抓取时间、优先级等，它是一个数据结构，实现它并不难。
先别急，在编写Sparrow的Crawler之前，有必要研究一下它是如何被调用的。
Crawler有一个控制器叫Control，它将一系列网址写到一个队列里，供Crawler爬行。Control初始化一个Crawler，队列以参数的形式传递给Crawler，Crawler开始工作后，立即从该队列里读入一个网址，进行一系列操作后返回该网页的内容和网页内的所有链接，并将它们放到另一个队列里。这两个队列都是由Control提供的，Crawler只负责抓取网页和分析链接。
这样，我们就清楚了：如果将Crawler比作手的话，Control就是大脑。Control又是怎样实现呢？
Control提供给Crawler两个队列，并启动Crawler。初始化Crawler的语句为
crawler=Crawler(request_queue,result_queue)
“为什么不让Crawler自己循环执行呢？”小白问道。
原因有二：
1、我们需要对爬行后得到的结果进行处理，只能让Crawler爬行我们想要的网页，而不是让爬虫漫无目的的乱逛。
2、让Crawler自己循环容易造成死循环，导致溢出甚至崩溃。
“Control好简�
相关文档：
需要先安装libxml2-devel libxslt-devel这两个rpm包，如果使用非root用户安装，可以下载libxml2和libxslt的源代码进行安装。 libxml2-devel、libxslt-devel装好后，解压lxml的包，切换到这个包的路径。
加入CFLAGS进行编译和安装，在shell下依次输入如下命令： CFLAGS=-I/usr/include/libxml2:/usr/include/libxslt/ ......
#from pp3e Chapter 9.3
#############################################################################
# popup three new window, with style
# destroy() kills one window, quit() kills all windows and app; top-level
# windows have title, icon, iconify/deiconify and protocol for wm events;
# there ......
1.open
使用open打开文件后一定要记得调用文件对象的close()方法。比如可以用try/finally语句来确保最后能关闭文件。
file_object = open('thefile.txt')
try:
all_the_text = file_object.read( )
finally:
file_object.close( )
注：不� ......
今天遇到了麻烦：
用Eclipse编译python向sqlite数据库插入数据总是提示编码的问题，我设置了Eclipse的workspace用utf-8编码还是不行
但是用Eclipse写的程序保存再用IDLE打开却能编译，奇怪了
我考虑到可能是配置的原因，找找遍了所有的配置，都没有问题，包括工程文件
最后我用xvi32打� ......
