Text Mining (1) 文本本来是给人读的,不是计算机 大多数信息以文本形式存储 100 times as much online text as online DBs HTML网页是带有结构标记的文本(带来机会和挑战) 数据挖掘操作的是数据表 (i.e. numbers, fixed fields, adherence to data models).
【转发】【引用】【论文】大多数的网站的网页除了主要的内容,还包含导航栏,广告,版权等无关信息。这些额外的内容亦被称为噪声,通常与主题无关。由于这些噪声会妨碍搜索引擎对 Web 数据的挖掘性能,所
以需要过滤噪声。在本文中,我们提出基于网页文本密度与符号密度对网页进行正文内容提取,这是一种快速,准确通用的网页提取算法,而且还可以保留原始结构。通过与现有的一些算法对
比,可以体现该算法的精确度,同时该算法可以较好的支持大数据量网页正文提取操作。