爬虫分享(一)：单线程爬取妹子图 1. 解析网页 ​ url = ‘https://www.27bao.com/’ ​ 首先分析网页结构 ​ 通过分析网页源代码可以发现动图的真实地址全都在img标签下的src属性里，我们要做的工作就是提取这些动图的地址，直接上代码 import requests import time import os from lxml import etree #解析网页，获取动图的地址 def get_urls(): url = 'https://www

爬虫分享(二)：多线程爬取妹子图 上篇文章分享了如何用单线程爬取妹子图，但单线程速度较慢，本篇将分享如何用多线程爬取妹子图 上一个思维导图(麻烦自动忽略右上方字样，买不起) 解析图片地址和下载图片的方法在上一篇中已经讲过了，这里就不再赘述了 完整代码如下 # -*- ecoding: utf-8 -*- # ModuleName: d2 # Function: # Author: shenfugui # Email: shenge_ziyi163.com # Time: 3/13/2020