© 1999-2048 dssz.net 粤ICP备11031372号
[Python] Python多线程爬虫
说明: Python多线程爬虫 功能描述 使用python编写一个网站爬虫程序,支持参数如下: spider.py -u url -d deep -f logfile -l loglevel(1-5) --testself -thread number --dbfile filepath --key=”HTML5” 参数说明: -u 指定爬虫开始地址 -d 指定爬虫深度 --thread 指定线程池大小,多线程爬取页面,可选参数,默认10 --dbfile 存放结果数据到指定的数据库(sqlite)文<q6115759> 上传 | 大小:33kb