Skip to content

先知社区爬虫,爬取文章保存为本地md文件

Notifications You must be signed in to change notification settings

Zh0um1/xzSpider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

xzSipder

先知社区爬虫

使用selenium控制edge自动下载指定范围内的文章和其中图片到本地并存为md格式文件。列表格式可能会出现一点小bug,需要手动修复🤡

起因

期末python课大作业要求写一个爬虫,本来想直接从GitHub上找一个应付学习一下,但是没找到合适的,所以决定自己写一个

使用方式

pip install -r requirements.txt

下载对应版本的msedgedriver驱动到项目根目录

修改config.json

image-20211227191342655

运行main.py

运行截图

image-20211227191753421

image-20211227191913456

fix

修复了无法下载图片的问题

修复了 #1 提出的 "等特殊符号在Windows系统中为非法文件名和非法目录名的问题。原title以front matter形式记录在md文件中

About

先知社区爬虫,爬取文章保存为本地md文件

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages