网络爬虫（Spider）Java实现原理
“网络蜘蛛”或者说“网络爬虫”，是一种能访问网站并跟踪链接的程序，通过它，可快速地画出一个网站所包含的网页地图信息。本文主要讲述如何使用Java编程来构建一个“蜘蛛”，我们会先以一个可复用的蜘蛛类包装一个基本的“蜘蛛”，并在示例程序中演示如何创建一个特定的“蜘蛛”来扫描相关网站并找出死链接。
Java语言在此非常适合构建一个“蜘蛛”程序，其内建了对HTTP协议的支持，通过它可以传输大部分的网页信息；其还内建了一个HTML解析器，正是这两个原因使Java语言成为本文构建“蜘蛛”程序的首选。
文章后面例1的示例程序，将会扫描一个网站，并寻找死链接。使用这个程序时需先输入一个URL并单击“Begin”按钮，程序开始之后，“Begin”按钮会变成“Cancel”按钮。在程序扫描网站期间，会在“Cancel”按钮之下显示进度，且在检查当前网页时，也会显示相关正常链接与死链接的数目，死链接将显示在程序底部的滚动文本框中。单击“Cancel”按钮会停止扫描过程，之后可以输入一个新的URL；如果期间没有单击“Cancel”，程序将会一直运行直到查找完所有网页，此后，“Cancel”按钮会再次变回“Begin”，表示程序已停止。
下面将演示示例程序是如何与可复用“Spider”类交互的，示例程序包含在例1的CheckLinks类中，这个类实现了ISpiderReportable接口，如例2所示，正是通过这个接口，蜘蛛类才能与示例程序相交互。在这个接口中，定义了三个方法：第一个方法是“spiderFoundURL”，它在每次程序定位一个URL时被调用，如果方法返回true，表示程序应继续执行下去并找出其中的链接；第二个方法是“spiderURLError”，它在每次程序检测URL导致错误时被调用（如“404 页面未找到”）；第三个方法是“spiderFoundEMail”，它在每次发现电子邮件地址时被调用。有了这三个方法，Spider类就能把相关信息反馈给创建它的程序了。
在begin方法被调用后，“蜘蛛”就开始工作了；为允许程序重绘其用户界面，“蜘蛛”是作为一个单独的线程启动的。点击“Begin”按钮会开始这个后台线程，当后台线程运行之后，又会调用“CheckLinks”类的run方法，而run方法是由Spider对象实例化时启动的，如下所示：
s
相关文档：
Struts、Hibernate和Spring是我们Java开发中的常用关键，他们分别针对不同的应用场景给出最合适的解决方案。但你是否知道，这些知名框架最初是怎样产生的？
我们知道，传统的Java Web应用程序是采用JSP+Servlet+Javabean来实现的，这种模式实现了最基本的MVC分层，使的程序结构分为几层，有负责前台展示的JSP、负责流程� ......
最近在看JVM有关东西，发现一个简单和free的HEAP DUMP查看方式（基于SUN JDK)
先使用
jmap -dump:live,format=b,file=heap.bin 9381
其中9381为JAVA 进程PID
然后执行jhat heap.bin
待显示
Snapshot resolved.
Started HTTP server on port 7000
Server is ready.
再使用WEB BROWER 登录jhat 浏览器端口即可 ......
一、关系
在java中，最基本的单位就是类。类是一个抽象概念，是某一类事物或物品的属性以及行为的集合。对象则是指某一具体的事物或物品，是实实在在的。举例说明一下：有一个电脑类，属性有键盘、鼠标等等，行为如打字、学习等等，我有这样一台电脑，那这台电脑就是一个电脑类的对象。
二、对象的声明与创建
&nbs ......
近期，在给客户做一个Demo页面时，需要用JAVA读取Oracle中的blob图片字段并显示，在此过程中，遇到一些问题，例如：连接Oracle数据库读取blob字段数据，对图片byte数据进行缩放等；特此记录，给自己备忘，给大家参考。
整个流程分为四步，连接oracle数据库 -> 读取blob图片字段 -> 对图片进行缩放 ->把图片展示在 ......
JAVA中用于处理字符串常用的有三个类：java.lang.String、java.lang.StringBuffer、java.lang.StringBuilder，这三者的共同之处都是final类，不允许被继承，这主要是从性能和安全性上考虑的，因为这几个类都是经常被使用着的，且考虑到防止其中的参数被修改影响到其它的应用。StringBuffer与StringBuilder两个基本上差不多� ......
