托罗 Toiro是日语标记器的比较工具。 比较令牌生成器的处理速度 比较分词器中分段的词 通过对应用程序任务（例如文本分类）进行基准测试来比较令牌生成器的性能 它还为日语自然语言处理提供有用的功能。 日语文本语料库的数据下载器 这些语料库的预处理器 日语文本的文本分类器（例如，SVM，BERT） 安装 需要Python 3.6以上版本。 您可以使用以下命令安装toiro。 包含在默认安装中。 pip install toiro 将标记器添加到toiro 如果要将标记器添加到toiro，