说明:适用于Python的机器人排除标准解析器
robots Python模块为robots.txt文件实现了解析器。 推荐使用的类是robots.RobotsParser 。
还存在一个薄外观的robots.RobotFileParser来替代python标准库中提供的 。 robots.RobotFileParser类公开了一个与urllib.robotparser.RobotFileParser最兼容的API。
进行此重写的主要原因如下:
最初打算尝试分析robots.txt来进行链接检查
<weixin_42124743> 上传 | 大小:32kb