说明:NSpider
介绍
NyderSpider(NSpider)是面向个人电脑的超轻量级资源爬取框架。nspider基于请求库,采用多进程+多线程的设计。主要针对普通论坛,资源网站的图片,视频资源进行爬取。
nspider基于SQLite进行数据和进度存储工作,在nspider设计框架和SQLite自有的鲁棒性上来看,你可以随时随地暂停,*nspider,nspider将在下一次启动时自动恢复上一次的工作进度。
由于没有对本框架所有模块所有方法进行细致的测试,所以并不保证框架没有bug,还需要
<weixin_42139871> 上传 | 大小:191kb