我们的网站经常被各种蜘蛛爬虫光顾，由于这些爬虫都有UserAgent，所以很多朋友使用UserAgent判断请求的发起者是否是搜索引擎爬虫的方式是很不准确的，接下来，通过本篇文章给大家介绍准确判断请求是搜索引擎爬虫（蜘蛛）发出的请求的方法，需要的朋友可以参考下

网站经常会被各种爬虫光顾，有的是搜索引擎爬虫，有的不是，通常情况下这些爬虫都有UserAgent，而我们知道UserAgent是可以伪装的，UserAgent的本质是Http请求头中的一个选项设置，通过编程的方式可以给请求设置任意的UserAgent。 所以通过UserAgent判断请求的发起者是否是搜索引擎爬虫（蜘蛛）的方式是不靠谱的，更靠谱的方法是通过请求者的ip对应的host主机名是否是搜索引擎自己家的host的方式来判断。 要获得ip的host，在windows下可以通过nslookup