IP
网站为了防止被爬取,会有反爬机制,对于同一个IP地址的大量同类型的访问,会封锁IP,过一段时间后,才能继续访问,有几种简单的应对套路:
1.修改请求头,模拟浏览器(而不是代码去直接访问)去访问
2.采用代理IP并轮换
3.设置访问时间间隔
这是一个ip网站,https://www.xicidaili.com/`
使用代理格式
proxies的格式是一个字典proxies = {‘http’: ‘http://IP:port‘,‘https’:’https://IP:port‘}
把它直接传