nlp-hw5 此存储库包含自然语言处理A4的代码。 任务是应用字节对编码算法从训练集中推断类型。 系统要求 该代码在可访问jupyter ， matplotlib和numpy的Python 3环境中运行。 完整的算法在一晚上在attu机器上运行，因此在高级硬件上可能要花费数分钟或数小时。 指示 A5_p2.ipynb运行笔记本A5_p2.ipynb以在A5-data.txt上运行算法，绘制序列长度与词汇量的关系，并编码一个新单词。 有关A5问题2的writeup.pdf参见writeup.p