主要介绍了.net 解决spider多次和重复抓取的解决方案,需要的朋友可以参考下

原因: 早期由于搜索引擎蜘蛛的不完善，蜘蛛在爬行动态的url的时候很容易由于网站程序的不合理等原因造成蜘蛛迷路死循环。 所以蜘蛛为了避免之前现象就不读取动态的url，特别是带？的url 解决方案: 1):配置路由 代码如下: routes.MapRoute(“RentofficeList”,                “rentofficelist/{AredId}-{PriceId}-{AcreageId}-{SortId}-{SortNum}.html”,