当前位置: 代码迷 >> Java Web开发 >> httpclient 四抓取网页
  详细解决方案

httpclient 四抓取网页

热度:3069   发布时间:2013-02-25 21:12:32.0
httpclient 4抓取网页
客户需求,让抓一个比较特殊的网页,登录此网站需要一个USB KEY(此KEY和KEY的密码客户已经提供)。
那么用httpclient去抓取这个页面的时候抓取结果是“登陆超时,请重新登录”这个页面。
此页面不需要输入任何数据,如果把URL复制到浏览器中是可以正常访问的。

流程是这样:登录首页(需要USB KEY) --- 页面A --(取得页面A中的一条数据ID,这个ID是拼接在URL中的)-- 页面B

需要用代码抓取页面B中的数据。
 
这种情况下用httpclient怎么处理??
 
谢谢各位!!!

------解决方案--------------------------------------------------------
探讨
我刚刚试了一下,登录成功后拔掉USB KEY也是可以正常操作的……
  相关解决方案