背景介绍 我微博玩的晚，同学里面加上好友的也就40不到，为了把那些隐藏的好友揪出来。用scrapy写一个爬虫试一试。 思路 微博上面关注和粉丝都是公开的数据，可以用爬虫获取到的。而一个好友圈子里面的人，相互粉的比例也会比较大。这就是找到隐藏的好友的一个切入点。于是思路如下： 从自己的账号入手，先抓取自己关注的人和自己的粉丝（0级好友） 从第一批抓的数据开始，继续爬取0级好友的关注人和粉丝 在爬取的数据中分析他们的网络关系，找到可能是自己好友的人 遇到的问题 爬取的数据量需要控制，每级迭代，用户的