文章目录环境爬取内容和思路实现文件结构具体实现后记参考资料 环境 我的环境是：python3.5 + scrapy 2.0.0 爬取内容和思路 爬取内容：微博热搜的关键词，链接，以及导语，即简要概述热搜内容的一小段话 思路： 对于热搜链接：通过热搜关键词所在标签的属性再加上前缀即可（如图1） 对于关键词：进入关键词所在链接，一般会有一个如图2所示的位置，根据标签解析出内容；如果没有，存入“无” 对于导语：也是在关键词链接里边（如图3），通过解析获得；如果没有，爬取页面中的一条微博截取 对于推荐类