asp.net实现网页信息采集的几点思考
最近公司需要开发一个简历导入功能，类似博客搬家或者邮箱搬家，之前抓取信息是利用火车采集器，但是简历导入功能需要用户登陆以后才能获取简历数据，无奈只好自己开发了。
首先是遇到的问题是：如何实现模拟登陆？
我们知道一般的网站都是通过Cookies来维护状态的，我抓的网站也是支持利用Cookies来验证用户的，构造一个post数据包，向服务器提交数据，在配置火车采集器的时候，也是要先利用WSockExpert.exe工具获得Post数据包，之后修改用户名和密码，向服务器提交的。
提交了登陆数据后还没完成登陆，虽然服务器会返回登陆后的页面数据，但是如果在进入其他的链接页面，还是不允许的，因为服务器每次都需要通过你提交过去Cookies来验证你是否登陆，在asp.net里，利用Cookies存储身份验证票证，每次都需要向服务器提交的，初学asp.net总是弄不明它的form验证机制，它封装了太多信息，虽然用几行代码就能实现验证，后来看了些web开发基础知识才弄明白，在这个你需要保存上次登陆后返回的Cookies，在下次有其他请求时带上这个Cookies就可以了，怎么带上呢？下面是我在.net里的实现，很简单！
利用HttpWebRequest类的CookieContainer来保存，这个CookieContainer会保存服务器回传的Cookies，但是前提是你在初始化HttpWebRequest的时候，记得实例化这个CookieContainer，一般的请求不需要实例它的，简单的代码如下：
httpWebRequest = (HttpWebRequest)HttpWebRequest.Create(URL);
httpWebRequest.CookieContainer = new CookieContainer();
httpWebRequest.ContentType = "application/x-www-form-urlencoded";
httpWebRequest.Method = "POST"
为了能全局使用这个CookieContainer ，你可以把它作为全局变量，这样在下次request的时候将其赋给CookieContainer 属性就行了。
详细了解CookieContainer 见：http://msdn.microsoft.com/zh-cn/vstudio/system.net.cookiecontainer(VS.80).aspx
维护了这个CookieContainer 后，我们就可以访问登陆后的页面了，模拟登陆问题解决。
其次遇到的问题自然是：如果从网页上获得想要的信息？
要在网页抓取信息，实现起来最简单，同时也是最繁琐的方法，那就是模板方法获取了，从火车采集器的配置过程看出来，它也就是用这种方法而已，不过人家能把抓取器做成成熟的产品，并�
相关文档：
Asp.net常用的51个代码(非常实用)
1.//弹出对话框.点击转向指定页面
CODE:Response.Write("<script>window.alert('该会员没有提交申请,请重新提交！')</script>");
Response.Write("<script>window.location ='http://www.51aspx.com/bizpulic/upmeb.aspx'</script>");
2. ......
ASP.NET页面与IIS底层交互和工作原理详解
第一回：
引言
我查阅过不少Asp.Net的书籍，发现大多数作者都是站在一个比较高的层次上讲解Asp.Net。他们耐心、细致地告诉你如何一步步拖放控件、设置控件属性、编写CodeBehind代码，以实现某个特定的功能。
这种做法，实际上是回答了“如何去做”的问题，却� ......
数据库访问性能优化
数据库的连接和关闭
访问数据库资源需要创建连接、打开连接和关闭连接几个操作。这些过程需要多次与数据库交换信息以通过身份验证，比较耗费服务器资源。 ASP.NET中提供了连接池(Connection Pool)改善打开和关闭数据库对性能的影响。系统将用户的数据库连接放在连接池中，需要时取出，关闭� ......
经常见到有人说在ASP.net中不要使用动态控件,我想主要的原因在于使用动态控件会带来一些问题,在做项目的过程中,我将由动态加载控件引发的总是作了一个小小的总结.
1 、在使用LoadControl加载控件后,用户控件中的某些控件不再响应事件。
这个问题主要是由于将控件加载放在if (!Page ......
似水流年报告了ASP.NET MVC 2 正式发布，那么我们有许多ASP.NET MVC 1.0的程序需要移植到2.0怎么办呢？Eilon Lipton 已经发布了一篇博文 migration tool for converting ASP.NET MVC 1 application projects，为我们的Visual Studio 2008的MVC项目的迁移准备好工具，主要工作就是转化项目类型，更新程序集的引用和生成配置� ......
