我们需要开始思考如何将文本集合转化为可量化的东西。最简单的方法是考虑词频。
我将尽量尝试不使用NLTK和Scikits-Learn包。我们首先使用Python讲解一些基本概念。
基本词频
首先,我们回顾一下如何得到每篇文档中的词的个数:一个词频向量。
#examples taken from here: http://stackoverflow.com/a/1750187
mydoclist = ['Julie loves me more than Linda loves me',
'J
在文本聚类中需要衡量中文文本之间的相似性。本文首先讨论了文本相似度的概念和常用计算算法,详细介绍了向量空间模型和算法步骤,采用删除去除词表、近义词合并、修改文件长度3中策略对算法进行了改进。最后借助盘古分词组件和搜狗实验室的互联网词库,在Visual Studio 2008环境下使用C#语言对算法进行了实现。使用在CNKI上得到的5个不同领域的500篇学术论文的中文摘要对算法进行了测试,结果表明新算法在误差率方面有较大改善,但运行时间较长。