[信息/网络安全] 如何自己动手写一个网络爬虫

网络爬虫以叫网络蜘蛛，网络机器人，这是一个程序，其会自动的通过网络抓取互联网上的网页，这种技术一般可能用来检查你的站点上所有的链接是否是都是有效的。当然，更为高级的技术是把网页中的相关数据保存下来，可以成为搜索引擎。从技相来说，实现抓取网页可能并不是一件很困难的事情，困难的事情是对网页的分析和整理，...