用scrapy框架爬取拉钩职位信息，保存为csv文件，并上传到mysql数据库当中。此案例仅用于学习爬虫技术，不作商业用途。若侵权，请联系删除。

使用Scrapy框架爬取网站，并将数据按照表格形式保存为csv格式

去腾讯招聘网的信息，这个小项目有人做过，本着一个新手学习的目的，所以自己也来做着玩玩，大家可以参考一下。 这里使用的是调用cmdline命令来生成csv文件，而不是importcsv模块。 from scrapy import cmdline cmdline.execute("scrapy crawl field -o info.csv -t csv".split()) 这段代码我保存在一个自建的.py文件中，然后在主文件中调用这个模块，这样就不用每次在cmd中敲命令了，大家可以使用这种方法

上章回顾 前两章Python实战演练之scrapy初体验和Python实战演练之跨页爬取中讲到了scrapy项目的创建，爬虫的创建，数据的爬取以及跨页爬取。 数据导出 通过shell命令爬取的数据往往需要我们存放在某处 例如：执行如下命令来启用数据爬取 $ scrapy crawl crouses 将结果保存到文件中：格式：json、csv、xml、pickle、marshal等 $ scrapy crawl crouses -o fangs.json $ scrapy crawl crous

第一次写CSDN的博客 闲话 相信大家和我以前一样，遇到问题呢就百度，而大多数提供有效解决方案的就是CSDN博客。 或许，在过去我们的积累还不够，没水平没脸在这么高大上的博客上发布文章。 还有一个原因我觉得是最普遍的，就是我们做一个事情然后不断解决问题直到成功，然后就不去管它了，我们已经从中吸取了知识，再用博客写一遍呢白白浪费时间。 无论如何，今天我还是想发布一篇博客分享给大家，这篇文章技术含量不是很高，大牛请绕道 现在进入正题 首先安装scrapy，pip install scrapy，这个