本篇文章主要介绍了深入理解Python分布式爬虫原理，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

首先，我们先来看看，如果是人正常的行为，是如何获取网页内容的。 (1)打开浏览器，输入URL，打开源网页 (2)选取我们想要的内容，包括标题，作者，摘要，正文等信息 (3)存储到硬盘中 上面的三个过程，映射到技术层面上，其实就是：网络请求，抓取结构化数据，数据存储。 我们使用Python写一个简单的程序，实现上面的简单抓取功能。 #!/usr/bin/python #-*- coding: utf-8 -*- ''''' Created on 2014-03-16 author: