Skip to content

爬虫项目:链家网(普通/scrapy)、虎扑、维基百科、百度地图api、房天下(分布式爬虫)、微信公众号(代理池爬取)

Notifications You must be signed in to change notification settings

NeverOccurs/CrawlerProject

 
 

Repository files navigation

CrawlerProject

1.1 链家网二手房源(主要更新了这个,对其他项目感兴趣请移步原作者首页)

主要改动了同步爬取,加入了选择区划的功能,可以在某一区划内对价格进行筛选了。 同时略微优化了源代码,适应了新版界面的样式。 加入了地铁站和环数信息,代价是爬取速度降低了。

同步爬取:tongbu.py(requests+xpath)

有待改进:

1、加入地铁站距离信息。

2、加入学区信息。

(这两块用request暂时不太好爬,有空想想办法)

3、其他想到再说。


About

爬虫项目:链家网(普通/scrapy)、虎扑、维基百科、百度地图api、房天下(分布式爬虫)、微信公众号(代理池爬取)

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 100.0%