北漂的我，前两天准备换个房住，房源信息平台太多，看的人都懵逼了，不知道到底那一片的房子是比较合适的（主要是便宜，又没有太多坑，没办法谁让我穷），于是在git上找了个爬虫项目，爬取一下北京各个片区的房源信息，做个汇总分析。
git上的项目都有点久远，大概是一两年前的写出来的代码，经过使用发现代码中的爬取规则早已不适用于现在 网的HTML结构。经过一段时间的调试改造后可以适用于现在的网页。
最新维护时间 2022.4月
感兴趣的可以下载下来试一试。
项目git地址
GitHub - Boris-2021/lianjia_scrapy: 链家爬虫程序，基于scrapy爬虫框架
https://github.com/Boris-2021/lianjia_scrapy
项目代码结构
如何使用
如何选择目标城市进行爬取
以爬取链家北京地区网站上的信息为例
你只需要在spyder.py文件中更改必要的网站链接！！
<https://bj.lianjia.com/zufang> 这个网页是北京地区的链接
注意：链接前边这两个字母表示城市首字母的缩写 ！！！
北京是这样<https://bj.lianjia.com/zufang>
杭州则是这样<https://hz.lianjia.com/zufang>
所以你想要爬取某个城市的数据的话，你只需要更改spyder.py文件中所有链家URL中，代表地区的这两个子母。
如何启动爬虫项目
scrapy常用命令参考
Scrapy常用命令_云飞扬°的博客-CSDN博客_scrapy命令一、全局命令1-startproject创建一个新的Scrapy项目：scrapy startproject <project_name> [project_dir]例如：scrapy startproject Crawler51job【注意】项目名称不能以数字开头2-genspider在当前文件夹或者当前项目，创建一个新的爬虫文件scrapy g...https://blog.csdn.net/weixin_44706512/article/details/99729394相信你在前边已经改好了你想要爬取城市的URL。对于本项目，运行爬虫你只需要在下边的terminal中敲入如下命令：
scrapy crawl lianjia
查看数据
启动之后，经过一段时间的爬取后，
爬取的过程的logj记录在.log文件中，可供查爬取的情况。
爬取的数据结果记录在生成的.json文件中。
< 解析json2csv.py>脚本帮助你将最终爬取的json格式数据转换为表格形式csv。
<数据处理.py>脚本可以帮助你将csv文件中重复的样本去掉。
项目git地址
GitHub - Boris-2021/lianjia_scrapy: 链家爬虫程序，基于scrapy爬虫框架https://github.com/Boris-2021/lianjia_scrapy