世谷 注意：可以使用代号为segtok v2并修复了segtok的一些棘手问题，尤其是将句子分割成不带空格的终端，就像这样:-)。 句子分割和单词标记化 segtok软件包提供了两个模块，分别是segtok.segmenter和segtok.tokenizer 。 分段器提供了将（印欧语系）文本拆分为句子的功能。 令牌生成器提供了将（印欧语）句子拆分为单词和符号（统称为令牌）的功能。 这两个模块也可以从命令行使用。 尽管其他印欧语言也可以使用，但在设计时仅考虑了西班牙语，英语和德语等语言。