文件名称:
web基础蜘蛛网页文章采集器 v3.2.zip
开发工具:
文件大小: 5mb
下载次数: 0
上传时间: 2019-07-15
详细说明：web基础蜘蛛网页文章采集器，英文名称Fast_Spider，属于蜘蛛爬虫类程序，用于从指定网站采集海量精华文章，将直接丢弃其中的垃圾网页信息，仅保存具备阅读价值和浏览价值的精华文章，自动执行HTM-TXT转换。本软件为绿色软件解压即可使用。
web基础蜘蛛网页文章采集器特点如下：
(1)本软件采用北大天网MD5指纹排重算法，对于相似相同的网页信息，不再重复保存。
(2)采集信息含义：［［HT］］表示网页标题，［［HA］］表示文章标题，［［HC］］表示10个权重关键字，［［UR］］表示网页中的图片链接，［［TXT］］之后为正文。
(3)蜘蛛性能：本软件开启300个线程来保证采集效率。通过采集100万精华文章来执行压力测试，以普通网民的联网计算机为参考标准，单台计算机可以在一天内遍历200万网页、采集20万精华文章，100万精华文章仅需5天就可采集完毕。
(4) 正式版与免费版的区别在于：正式版允许将采集的精华文章数据自动保存为ACCESS数据库。
web基础蜘蛛网页文章采集器操作步骤
(1)使用前，必须确保你的计算机可以连通网络，且防火墙不要拦截本软件。
(2)运行SETUP.EXE和setup2.exe，以安装操作系统system32支持库。
(3)运行spider.exe，输入网址入口，先点"人工添加"按钮，再点"启动"按钮，将开始执行采集。
web基础蜘蛛网页文章采集器使用注意
(1)抓取深度：填写0表示不限制抓取深度；填写3表示抓到第3层。
(2)通用蜘蛛模式与分类蜘蛛模式的区别：假定网址入口为“http://youxi.baidu.com/”，若选择通用蜘蛛模式，将遍历“baidu.com”里面的每一个网页；若选择分类蜘蛛模式，则只遍历“youxi.baidu.com”里面的每一个网页。
(3) 按钮“从MDB导入”：网址入口从TASK.MDB中批量导入。
(4)本软件采集的原则是不越站，例如给的入口是“http://youxi.baidu.com/”，就只在百度站点内部抓取。
(5)本软件采集过程中，偶尔会弹出一个或数个“错误对话框”，请不予理会，倘若关闭“错误对话框”，采集软件就会挂掉。
(6)使用者如何选择采集题材：例如你若想采集 “股票类”文章，只需把那些“股票类”站点作为网址入口即可。
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
