开发工具:
文件大小: 18kb
下载次数: 0
上传时间: 2018-01-02
详细说明： 该工具需要使用需要使用mysql,redis等使用方法如下： 使用scrapy爬取百度百科 包括词、词摘要、基本信息、摘要链接、内容等保存到根目录下的baike.json文件中 1.需要安装myslq数据库 然后运行 baike/mysql/test.py文件创建数据库表格 2.进入命令行运行 scrapy crawl baike 即可 3.所有的相关信息保存到./baike.log中，为后续的使用，控制台不在显示运行信息 4.输出数据保存在baike/spiders/baike.json下，每行一个词条为,例 如多义词信息如下： {"title": "百度百科：多义词", "url": "https://baike.baidu.com/item/百度百科：多义词", "summary": "\n百度百科里，当同一个词条名可指代含义概念不同的事物时，这个词条称为多义词。如词条“苹果”，既可以代表一种水果，也可以指代苹果公司，因此“苹果”是一个多义词。\n", "summarylinks": [["百度百科"], ["/item/百度百科"]], "basicinfo": [[], []], "content": "", "contentlinks": [["义项"], ["/item/义项"]]} 5.在baike/mysql/json_test.py有队生成baike.json的相关调试 ...展开收缩
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
