- 1.1 链家网二手房源
- 1.2 Wikipedia
- 1.3 BaiduAPI
- 1.4 爬取虎扑步行街
- 1.5 链家网租房爬虫项目(Scrapy+异步MySQL)
- 1.6 房天下新房、二手房爬虫项目(Scrapy-Redis分布式爬虫)
- 1.7 微信公众号(通过代理池爬取)
- 1.8 爬取网页转换成pdf
- 1.9 下载bilibili视频
- 1.10 本地保存微信公众号文章
主要改动了同步爬取,加入了选择区划的功能,可以在某一区划内对价格进行筛选了。 同时略微优化了源代码,适应了新版界面的样式。 加入了地铁站和环数信息,代价是爬取速度降低了。
同步爬取:tongbu.py(requests+xpath)
有待改进:
1、加入地铁站距离信息。
2、加入学区信息。
(这两块用request暂时不太好爬,有空想想办法)
3、其他想到再说。