履带式护舷 java web系统的反网页爬虫程序 简介：一些智能的搜索引擎爬虫的爬取频率比较合理，对网站资源消耗比较少，但是很多糟糕的网络爬虫，对网页爬取能力很差，经常并发几百个请求循环重复抓取，这种爬虫对中小型网站经常是破坏灭性打击，特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强，造成的网站访问压力会非常大，会导致网站访问速度缓慢，甚至无法访问。本程序智能识别爬虫，防止爬虫对系统造成的负载，也可用于访问请求的限流。 爬虫识别策略：1.实时策略：访问者IP单位时间内访问次数，超过设置阀