该项目用于在Rust中开发和测试令牌生成器。 要实现的第一个标记器是字节对编码标记器。 下一个将是单词片段和句子片段标记器。 该项目正在进行中。 在lib.rs中，提供了用于文件，字符串，单词预处理和词汇创建的工具集合。 样本输出： 在词汇形成的某些预处理阶段： {"tears": 12, "identify": 1, "peeped": 3, "mission": 4, "pretexts": 1, ":crab:begin": 1, "beat": 4, "spot": 1, "