用Java写爬网页的小工具
其实也不是爬网页，只是从一个XML文件取URL，然后抓取网页内容。
主要有几点，备忘：
1. 全局代理，设置之后所有的URL都使用此代理，这样可以直接调用FileUtils.copyURLToFile：
private void initProxy(String host, int port,
final String username, final String password) {
Authenticator.setDefault(new Authenticator() {
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication(username,
password.toCharArray());
}
});
System.setProperty("http.proxyType", "4");
System.setProperty("http.proxyPort",
Integer.toString(port));
System.setProperty("http.proxyHost", host);
System.setProperty("http.proxySet", "true");
}
2. 设置User-Agent，有些站点禁止Java作为访问客户端，必须通过URLConnection设置User-Agent来模拟浏览器，所以不能用FileUtils.copyURLToFile，复制其源码小修改一下即可：
URLConnection httpConnection = new URL(url).openConnection();
httpConnection.setRequestProperty("User-Agent",
"Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
File dest = new File(path);
InputStream input = httpConnection.getInputStream();
try {
FileOutputStream output = FileUtils.openOutputStream(dest);
try {
IOUtils.copy(input, output);
} finally {
IOUtils.closeQuietly(output);
}
} finally {
IOUtils.closeQuietly(input);
}
3.dom4j读取超大xml文件，使用event based模式防止堆溢出错误：
reader.addHandler("/RDF/ExternalPage", new ElementHandler() {
public void onStart(ElementPath path) {
}
public void onEnd(ElementPath path) {
Element node = path.getCurrent();
// 节点相关操作
// 关键操作，从内存的节点树中剔除节点，释放内存
node.detach();
}
});
4.多线程可以用jdk1.5新加入的线程池java.util.concurrent.ThreadPoolExecutor，方便实用。稍微要注意的就是在添加完所有任务后记得执行一下ThreadPoolExecutor.shutdown()。
相关文档：
Java对对象和基本的数据类型的处理是不一样的。对基本的数据类型类似于C/C++中的方法（值传递）。在Java中用对象的作为入口参数的传递则缺省为"引用传递"，也就是说仅仅传递了对象的一个"引用"，这个"引用"的概念同C语言中的指针引用是一样的。当函数体内部对输入变量改变时，实质上就是在对 ......
<!--
/* Font Definitions */
@font-face
{font-family:宋体;
panose-1:2 1 6 0 3 1 1 1 1 1;
mso-font-alt:SimSun;
mso-font-charset:134;
mso-generic-font-family:auto;
mso-font-pitch:variable;
mso-font-signature:3 135135232 16 0 262145 0;}
@font-face
{font-family:"\@宋体" ......
原文： http://blog.sina.com.cn/s/blog_4e0c121101000awr.html
(这是我年初写的一篇文章，但迟迟没有公开。有些内容可能已经过时，但还是值得一读.)
经过将近10年的发展后，Java EE已经演变为当前企业的主流计算平台。开发者再也不能够简简单单地将Java看成一种编程语言了，其产业和技术链已经� ......
异常 Underlying input stream returned zero bytes 解决办法
系统环境
jdk1.5
hibernate 3.0
sql server 2000
ms jdbc driver
将一个varchar类型的字段改为text后，就出现
[Microsoft][SQLServer 2000 Driver for JDBC]Underlying input stream returned zero bytes 的异常了。
从网上搜集资料来看，由于jdbc的bug ......
