主要介绍了网页爬虫之cookie自动获取及过期自动更新的实现方法,需要的朋友可以参考下

本文实现cookie的自动获取，及cookie过期自动更新。 社交网站中的很多信息需要登录才能获取到，以微博为例，不登录账号，只能看到大V的前十条微博。保持登录状态，必须要用到Cookie。以登录www.weibo.cn 为例： 在chrome中输入：http://login.weibo.cn/login/ 分析控制台的Headers的请求返回，会看到weibo.cn有几组返回的cookie。 实现步骤： 1，采用selenium自动登录获取cookie，保存到文件; 2，读取cookie，比