概述 不管是人工智能，还是数据科学，其核心都是数学原理。机器学习中，如何将世间万物变成数字，以便使用数学方法解决问题尤为重要。图像普遍是以像素值为基础输入模型，而文本又该如何处理成数字呢？ 文本表示 词袋模型 最基础的文本表示模型是词袋模型。也就是把每篇文档看作是一袋子词，忽略每个词出现的顺序。每篇文档可以表示成一个长向量，向量中的每个维度代表一个单词，对该维度对应的权重也就反映了这个词在文章中的重要程度。我们常用TF-IDF来计算权重。 N-gram模型 上述的词袋模型会出现一个教明显的问题。