robots-txt解析器 —用于解析robots.txt文件的所有指令PHP类 根据robots.txt规则，用于检查PHP类是允许还是禁止url。 尝试在实时域上在线RobotsTxtParser。 解析是根据Google＆Yandex规范的规则进行的： 最后改进： 根据clean-param语法解析Clean-param指令。 删除注释（“＃”字符之后的所有内容，直到第一个换行符都将被忽略） 主机解析的改进-交集指令，应参考用户代理'*'； 如果有多个主机，则搜索引擎将采用第一