代币化 Javascr ipt的灵活字符串标记化库 关于 Tokenizr是一个小Javascr ipt库，提供强大而灵活的字符串标记化功能。 它打算在基于递归下降的“语法解析器”中用作基础的“词法扫描器”，但也可以用于其他解析目的。 其独特的功能是： 高效迭代： 它以只读且无复制的方式遍历输入字符串。 堆叠状态： 其标记化基于用于确定可应用规则的堆叠状态。 每个规则只能针对一个或多个特定状态启用。 正则表达式匹配： 它的标记化基于强大的正则表达式来匹配输入字符串。 重复比赛： 规则操作