网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

本文详细介绍了网站的反爬虫策略，在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的难度（防止静态爬虫使用ajax技术动态加载页面）。 1、从用户请求的Headers反爬虫是最常见的反爬虫策略。 伪装head

写在前面 题目所说的并不是目的，主要是为了更详细的了解网站的反爬机制，如果真的想要提高博客的阅读量，优质的内容必不可少。 了解网站的反爬机制 一般网站从以下几个方面反爬虫： 1. 通过Headers反爬虫 从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。 如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agen

1、判断请求头来进行反爬 这是很早期的网站进行的反爬方式 User-Agent 用户代理 referer 请求来自哪里 cookie 也可以用来做访问凭证 解决办法：请求头里面添加对应的参数（复制浏览器里面的数据） 2、根据用户行为来进行反爬 请求频率过高，服务器设置规定时间之内的请求阈值 解决办法：降低请求频率或者使用代理（IP代理） 网页中设置一些陷阱（正常用户访问不到但是爬虫可以访问到） 解决办法：分析网页，避开这些特殊陷阱 请求间隔太短，返回相同的数据 解决办法：增加请求间隔 3、j