几种网页爬取的方法与实现(Java)
一、通过HttpClient(apache commons-httpclient)方式，获许网页内容，并解析出需要的东西。
这种方法相对比较简单，因为commons-httpclient已经做了很好的封装，简单的代码如下：
// 构造HttpClient的实例
HttpClient httpClient = new HttpClient();
HttpClientParams clientParams = new HttpClientParams();
// 隐藏自己请求相关的信息
clientParams.setParameter("http.useragent",
"Mozilla/4.0 (compatible; FIREFOX 9.0; IBM AIX 5)");
clientParams.setHttpElementCharset("GBK");
HttpState httpState = new HttpState();
httpClient.setParams(clientParams);
httpClient.getParams().setParameter(
HttpClientParams.HTTP_CONTENT_CHARSET, "GBK");
httpClient.setState(httpState);
clientParams.setVersion(HttpVersion.HTTP_1_1);
if (useProxy) // 使用代理
{
httpClient.getHostConfiguration().setProxy(proxyIp, port);
}
这里需要注意的是记得设置http.useragent属性，默认会显示为httpclient代理，很多网站为了防止被恶意爬取，最简单的方式就是判断useragent属性。
二、第一种方式最简单，但是也最容易被网站禁止掉，因为这种方式是不会执行javascript的，这样就很容易被网站通过javascript做标识识别出来，同时获取的数据如果是通过javascript计算来的，也会比较麻烦。
那么，我们来看第二种方式，通过模拟真正的browser来获取网页内容，并执行javascript，目前大部分流行的浏览器内核都是开放的，比如webkit，下面我们以mozilla引擎为例，实现如下：
首先，我们会用到xulrunner，这是使用mozilla引擎的xul浏览器，在这里我们用来替代mozilla实现。
下载xulrunner后，解压缩到相应目录
在代码中进行配置。
static {
Mozilla.getInstance().initialize(new File("D:\\xulrunner"));
System.setProperty("org.eclipse.swt.browser.XULRunnerPath",
"D:\\xulrunner");
}
将代码中的xulrunner目录位置修改为你解压缩的位置。
我们使用SWT来实现界面，SWT的Browser控件可以使用多个浏览器引擎，设置如下
相关文档：
首先要说的是,Hibernate中ORM里对应的映射文件BEAN,必须实现序列化.因为BEAN里的数据需要存入数据库(要转化为二进制保存),进行存取工作.
JAVA类的数据 ,如果要进行相关的存储工作(如写文件,网络传输,写数据库等),那么这个数据的类 就必须实现序列化接口 (java.io.Serializab ......
1 jsp 基础概念
jsp是在传统的html页面中，加入java的程序片段和jsp标记，就构成了jsp页面。当web服务器遇到对jsp的访问请求时，先执行对其中的java程序片段，然后以html的格式返回给用户。 java程序片段可以用来操作数据库，重定向网页，或者是发送E-mail ,验证登陆信息， 这些操作都是在服务� ......
这里只能从显示数据的jsp页面上导出当前页面的数据，这些数据可以从数据库读出，显示到jsp页面，然后加一段话就可把当前页面数据保存到excel里面!
如从后台过来数据显示到 showUser.jsp
然后加链接到 showExcel.jsp就可以了，在这个页面只多了几行字，其他的都不会显示包括页面！但这个页面上的数据跟showUser.js ......
detachedCriteria.add(Restrictions.or(
Restrictions.like("chengBanDanWeiIds", rForm.getChengBanDanWeiIds()+(char)13, MatchMode.START),
Restrictions.or(
&n ......
