开发工具:
文件大小: 56kb
下载次数: 0
上传时间: 2019-06-20
详细说明： /// 描述：由C#编写的多线程异步抓取网页的网络爬虫控制台程序 /// 功能：目前只能提取网络链接，所用的两个记录文件并不需要很大。网页文本、图片、视频和html代码暂时不能抓取，请见谅。 /// 但需要注意，网页的数目是非常庞大的，如下代码理论上大概可以把整个互联网网页链接都抓下来。 /// 但事实上，由于处理器功能和网络条件（主要是网速）限制，一般的家用电脑最多能胜任12个线程左右的抓取任务，抓取速度有限。可以抓取，但需要时间和耐心。 /// 当然，这个程序把所有链接抓下来是可能的，因为链接占系统空间并不多，而且有记录文件的帮助，已抓取网页的数量可以堆积下去， /// 甚至可以把所有的互联网网络链接都 存取下来，当然，最好是分批次。建议设置maxNum为500-1000左右，慢慢累积下去。 /// 另外因为是控制台程序，有时候显示字符过多会系统会暂停显示，这时候只要点击控制台按下回车键就可以了。程序假死的时候，可以按回车键（Enter）试试。 /// 使用本程序，请确保已创建相应的记录文件，出于简化代码的考虑，本程序做的并不健壮，请见谅。 /// 默认的文件创建在E盘根目录“已抓取网址.txt”和“待抓取网址.txt”这两个文本文件中，使用者需要自行创建这两个文件，注意后缀名不要搞错。 /// 这两个文件里面的链接基本都是有效链接，可以单独处理使用。 /// 本爬虫程序的速度如下： /// 10线程最快大概500个链接每分钟 /// 6-8线程最快大概400-500个链接每分钟 /// 2-4线程最快大概200-400个链接每分钟 /// 单线程最快大概70-100个链接每分钟
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
相关搜索:
