以下为原文摘要： Many web sites contain large sets of pages generated using a common template or layout. For example, Amazon lays out the author, title, comments, etc. in the same way in all its book pages. The values used to generate the pages (e.g., the a
1、引言
在Python网络爬虫内容提取器一文我们详细讲解了核心部件：可插拔的内容提取器类gsExtractor。本文记录了确定gsExtractor的技术路线过程中所做的编程实验。这是第一部分，实验了用xslt方式一次性提取静态网页内容并转换成xml格式。
2、用lxml库实现网页内容提取
lxml是python的一个库，可以迅速、灵活地处理 XML。它支持 XML Path Language (XPath) 和 Extensible Stylesheet Language Transform
【转发】【引用】【论文】大多数的网站的网页除了主要的内容，还包含导航栏，广告，版权等无关信息。这些额外的内容亦被称为噪声，通常与主题无关。由于这些噪声会妨碍搜索引擎对 Web 数据的挖掘性能，所
以需要过滤噪声。在本文中，我们提出基于网页文本密度与符号密度对网页进行正文内容提取，这是一种快速，准确通用的网页提取算法，而且还可以保留原始结构。通过与现有的一些算法对
比，可以体现该算法的精确度，同时该算法可以较好的支持大数据量网页正文提取操作。
