例如很多bbs上的帖子是需要认证才能获得的，但是我们看到大部分的搜索引擎是能获取一些这样的内容，请问这相关的技术是怎样实现的？
------解决方案--------------------
可以读到吗？我感觉是读不到啊。
------解决方案--------------------
应该是爬虫在数据传输过程中取到的
------解决方案--------------------
需要认证的肯定不会被百度这样的搜索引擎收录的，http://www.baidu.com/search/guide.html#1有解释,不过用程序登录后再抓取也是可以做到的