Introduction:

EngineCrawler 主要用于抓取国内外一些主流搜索引擎搜索返回的url内容，目前支持以下的搜索引擎： baidu，google，yahoo，ecosia，teoma，360，hotbot，脚本支持直接使用百度或者谷歌的高级搜索语法来进行搜索，谷歌搜索引擎不需要翻墙，抓取的是国内镜像站的数据。

Dependencies:

pip -r install requirements.txt

Usage:

OPTIONS:
  -h, --help            show this help message and exit
  -r RULE, --rule RULE  Engine advanced search rules
  -p PAGE, --page PAGE  The number of pages returned by the search engine
  -e ENGINES, --engines ENGINES
                        Specify a comma-separated list of search engines
  -o OUTPUT, --output OUTPUT
                        Save the results to text file

Example: python EngineCrawler.py -e baidu,yahoo -r 'inurl:php?id=1' -p 10 -o
urls.txt

Screenshot: