我在页面做了两个测试，
一个是用gridview展示数据，有默认分页，但爬虫或蜘蛛只能爬到第一页的数据
二是查询所有数据，只在页面显示10条，只能爬到10条的数据
我用的是http://www.webconfs.com/search-engine-spider-simulator.php 来爬的
如何才能爬到所有查询的数据呢？我想把每一页的数据全都爬到，如何优化啊？？？
------解决方案--------------------------------------------------------
url分页
------解决方案--------------------------------------------------------
http://www.webdiyer.com/Controls/AspNetPager/PagingMode
http://www.webdiyer.com/AspNetPagerDemo/urlpaging/default.aspx
------解决方案--------------------------------------------------------
一般想做SEO的优化，都是要做A标签的分页，一般才可以让爬虫全部抓到~
------解决方案--------------------------------------------------------
发言有份 ..............
------解决方案--------------------------------------------------------
只为发言有份而来。。
------解决方案--------------------------------------------------------
------解决方案--------------------------------------------------------
url分页
发言有分啊
------解决方案--------------------------------------------------------
GridView分页那里你注意下是JavaScript 。。而不是实实在在的 链接，爬虫当然不会抓取下去，你要是想放在前台展示让搜索引擎收录到的话 分页就要自己写，把分页样式那换成 <a href=""></a>
------解决方案--------------------------------------------------------
另外GridView的内置分页确实样子比较单一。。在后台用用就算了，页面上的分页自己写下吧
------解决方案--------------------------------------------------------
url 分页
------解决方案--------------------------------------------------------
没错，就是URL分页，把每一页的详细地址呈现给蜘蛛。
------解决方案--------------------------------------------------------
实现静态分页 对你的列表页的每行标题和图片做优化 <a>也要做
------解决方案--------------------------------------------------------