点数信息
www.dssz.net
注册会员
|
设为首页
|
加入收藏夹
您好,欢迎光临本网站!
[请登录]
!
[注册会员]
!
首页
移动开发
云计算
大数据
数据库
游戏开发
人工智能
网络技术
区块链
操作系统
模糊查询
热门搜索:
源码
Android
整站
插件
识别
p2p
游戏
算法
更多...
在线客服QQ:632832888
当前位置:
资源下载
搜索资源 - 基于Java的分布式爬虫
下载资源分类
移动开发
开发技术
课程资源
网络技术
操作系统
安全技术
数据库
行业
服务器应用
存储
信息化
考试认证
云计算
大数据
跨平台
音视频
游戏开发
人工智能
区块链
在结果中搜索
所属系统
Windows
Linux
FreeBSD
Unix
Dos
PalmOS
WinCE
SymbianOS
MacOS
Android
开发平台
Visual C
Visual.Net
Borland C
CBuilder
Dephi
gcc
VBA
LISP
IDL
VHDL
Matlab
MathCAD
Flash
Xcode
Android STU
LabVIEW
开发语言
C/C++
Pascal
ASM
Java
PHP
Basic/ASP
Perl
Python
VBScript
JavaScript
SQL
FoxBase
SHELL
E语言
OC/Swift
文件类型
源码
程序
CHM
PDF
PPT
WORD
Excel
Access
HTML
Text
资源分类
搜索资源列表
Java源码 SpringMVC Mybatis Shiro Bootstrap Rest Webservice
框架简介: 项目Maven构建,真实大型互联网架构,做到高并发,大数据处理,整个项目使用定制化服务思想,提供模块化、服务化、原子化的方案,将功能模块进行拆分,可以公用到所有的项目中。架构采用分布式部署架构,所有模块进行拆分,使项目做到绝对解耦,稳定压倒一切~~ 持续集成: 1. 我的待办工作流服务(提供Webservice服务) 2. 我的待办工作流集成JMS消息服务(支持高并发,可支持成千上万系统集成) 3. 我的任务提供Rest服务,完成日常的工作管理,通过定时调度平台,动态生成我的任务、
所属分类:
Java
发布日期:2016-03-25
文件大小:54mb
提供者:
qw5889
Java源码 SpringMVC Mybatis Shiro Bootstrap Rest Webservice
项目Maven构建,真实大型互联网架构,做到高并发,大数据处理,整个项目使用定制化服务思想,提供模块化、服务化、原子化的方案,将功能模块进行拆分,可以公用到所有的项目中。架构采用分布式部署架构,所有模块进行拆分,使项目做到绝对解耦,稳定压倒一切~~ 持续集成: 1. 我的待办工作流服务(提供Webservice服务) 2. 我的待办工作流集成JMS消息服务(支持高并发,可支持成千上万系统集成) 3. 我的任务提供Rest服务,完成日常的工作管理,通过定时调度平台,动态生成我的任务、循环周期任务
所属分类:
Java
发布日期:2016-06-07
文件大小:54mb
提供者:
li1669852599
( Java源码 SpringMVC Mybatis Shiro Bootstrap Rest Webservic
框架简介: 项目Maven构建,真实大型互联网架构,做到高并发,大数据处理,整个项目使用定制化服务思想,提供模块化、服务化、原子化的方案,将功能模块进行拆分,可以公用到所有的项目中。架构采用分布式部署架构,所有模块进行拆分,使项目做到绝对解耦,稳定压倒一切~~ 持续集成: 1. 我的待办工作流服务(提供Webservice服务) 2. 我的待办工作流集成JMS消息服务(支持高并发,可支持成千上万系统集成) 3. 我的任务提供Rest服务,完成日常的工作管理,通过定时调度平台,动态生成我的任务、
所属分类:
Web开发
发布日期:2016-10-26
文件大小:54mb
提供者:
yushiyoufight
Python入门网络爬虫之精华版
Python入门网络爬虫之精华版 Python学习网络爬虫主要分3个大的版块:抓取,分析,存储 另外,比较常用的爬虫框架Scrapy,这里最后也详细介绍一下。 首先列举一下本人总结的相关文章,这些覆盖了入门网络爬虫需要的基本概念和技巧:宁哥的小站-网络爬虫 当我们在浏览器中输入一个url后回车,后台会发生什么?比如说你输入http://www.lining0806.com/,你就会看到宁哥的小站首页。 简单来说这段过程发生了以下四个步骤: 查找域名对应的IP地址。 向IP对应的服务器发送请求
所属分类:
Python
发布日期:2016-11-04
文件大小:5kb
提供者:
q6115759
SeimiCrawler
SeimiCrawler An agile,powerful,standalone,distributed crawler framework. SeimiCrawler的目标是成为Java里最实用的爬虫框架,大家一起加油。 简介 SeimiCrawler是一个敏捷的,独立部署的,支持分布式的Java爬虫框架,希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛,以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里,绝大多数人只需关心去写抓取的业务逻辑就够了,其余
所属分类:
Python
发布日期:2017-04-06
文件大小:117kb
提供者:
q6115759
亿级流量网站架构核心技术-跟开涛学搭建高可用高并发系统(高清完整版)
第1部分 概述 / 1 1 交易型系统设计的一些原则 / 2 1.1 高并发原则 / 3 1.1.1 无状态 / 3 1.1.2 拆分 / 3 1.1.3 服务化 / 4 1.1.4 消息队列 / 4 1.1.5 数据异构 / 6 1.1.6 缓存银弹 / 7 1.1.7 并发化 / 9 1.2 高可用原则 / 10 1.2.1 降级 / 10 1.2.2 限流 / 11 1.2.3 切流量 / 12 1.2.4 可回滚 / 12 1.3 业务设计原则 / 12 1.3.1 防重设计 / 13
所属分类:
Java
发布日期:2017-10-13
文件大小:175mb
提供者:
jsntghf
开涛高可用高并发-亿级流量核心技术
第1部分概述 1 1 交易型系统设计的一些原则 2 1.1 高并发原则 3 1.1.1 无状态 3 1.1.2 拆分 3 1.1.3 服务化 4 1.1.4 消息队列 4 1.1.5 数据异构 6 1.1.6 缓存银弹 7 1.1.7 并发化 9 1.2 高可用原则 10 1.2.1 降级 10 1.2.2 限流 11 1.2.3 切流量 12 1.2.4 可回滚 12 1.3 业务设计原则 12 1.3.1 防重设计 13 1.3.2 幂等设计 13 1.3.3 流程可定义 13 1.3.4
所属分类:
Web开发
发布日期:2018-03-22
文件大小:150mb
提供者:
a123demi
亿级流量网站架构核心技术 跟开涛学搭建高可用高并发系统 ,张开涛(著) 高清
第1部分 概述 / 1 1 交易型系统设计的一些原则 / 2 1.1 高并发原则 / 3 1.1.1 无状态 / 3 1.1.2 拆分 / 3 1.1.3 服务化 / 4 1.1.4 消息队列 / 4 1.1.5 数据异构 / 6 1.1.6 缓存银弹 / 7 1.1.7 并发化 / 9 1.2 高可用原则 / 10 1.2.1 降级 / 10 1.2.2 限流 / 11 1.2.3 切流量 / 12 1.2.4 可回滚 / 12 1.3 业务设计原则 / 12 1.3.1 防重设计 / 13
所属分类:
Web开发
发布日期:2018-04-07
文件大小:175mb
提供者:
kuigoutang2400
JAVA高并发高性能高可用高扩展架构视频教程
Java-Base64算法_创新_防止表单重复提交 JAVA企业级基础课题(HashMap那些事) 企业架构师必备技能(JAVA核心技术反射) JavaWeb之基础(手写实现Tomcat服务器) java多线程编程 纯手写实现SpringIOC实现过程 JEE企业级开发(企业级项目开发权威指南) 网络爬虫之JAVA正则表达式 手写springMVC框架 老司机带你透析springMVC内部实现方式 打造高效代码结构(java性能优化) 新版本通俗易懂_观察者模式递进时讲解 ibatis连接数据
所属分类:
Java
发布日期:2018-02-04
文件大小:91byte
提供者:
u013844840
黑马57期黑马最新资源来咯
黑马57期 视频 下载 黑马57期.jpg 资料目录: 黑马57期 |____27 |____软件测试相搭配的测试工具 |____软件测试教程讲义 |____9.QC管理学习(类禅道)学习 |____8.性能测试LoadRunner |____7.接口视频Jmeter |____6.移动端项目测试视频appium |____5.web自动化测试视频selenium |____4.编程数据结构python6学习教程 |____3.深入了解软件测试基础视频 |____2.Linux和数据库SQL
所属分类:
Java
发布日期:2019-04-28
文件大小:116byte
提供者:
qq_32718315
开源通用爬虫框架YayCrawler.zip
YayCrawler是一个基于WebMagic开发的分布式通用爬虫框架,开发语言是Java。我们知道目前爬虫框架很多,有简单的,也有复杂的,有轻 量型的,也有重量型的。您也许会问:你这个爬虫框架的优势在哪里呢?额,这个是一个很重要的问题!在这个开篇中,我先简单的介绍一下我这个爬虫框架的特 点,后面的章幅会详细介绍并讲解它的实现,一图胜千言:1、分布式:YayCrawler就是一个大哥(Master)多个小弟(Worker)的架构(这种结构才是宇宙的真理),当然大哥还有一个小秘(Admin)和外
所属分类:
其它
发布日期:2019-07-18
文件大小:160mb
提供者:
weixin_39840515
Android代码-web-bee
webBee 为乐趣而爬 webBee 基于jdk8 是一个持续成长的垂直爬虫框架项目 webBee 遵循MIT开源协议 webBee 是一个不错的java进阶项目 欢迎大家贡献代码,如果觉得这个项目不错,请为它 点赞 演示站点 http://gitrue.com (备案成功,开发中) 设计初衷 设计简洁,面向接口 配置简单,明了 一次配置,自动匹配 涉及技术栈 httpcomponents jsoup redis 代理 多线程 即将完善的内容 分布式爬取 代理接口 通过配置智能寻找目标 ur
所属分类:
其它
发布日期:2019-08-06
文件大小:58kb
提供者:
weixin_39841882
Crawlab分布式爬虫管理平台 v0.5.1
为您提供Crawlab分布式爬虫管理平台下载,Crawlab是一个基于Golang的分布式爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。Crawlab架构:Crawlab的架构包括了一个主节点(Master Node)和多个工作节点(Worker Node),以及负责通信和数据储存的Redis和MongoDB数据库。前端应用向主节点请求数据,主节点通过MongoDB和Redis来执行任务派
所属分类:
其它
发布日期:2020-11-03
文件大小:1mb
提供者:
weixin_38531210
基于JAVA的京东商品分布式爬虫系统的设计与实现.pdf
基于JAVA的京东商品分布式爬虫系统的设计与实现.pdf
所属分类:
Java
发布日期:2020-11-19
文件大小:2mb
提供者:
houjinbiao
基于Java的分布式爬虫
分类 分布式网络爬虫包含多个爬虫,每个爬虫需要完成的任务和单个的爬行器类似,它们从互联网上下载网页,并把网页保存在本地的磁盘,从中抽取URL并沿着这些URL的指向继续爬行。由于并行爬行器需要分割下载任务,可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同一个局域网之中,或者分散在不同的地理位置。 根据爬虫的分散程度不同,可以把分布式爬行器分成以下两大类: 1、基于局域网分布式网络爬虫:这种分布式爬行器的所有爬虫在同一个局域网里运行,通过高速的网络连接相互通信。这些
所属分类:
其它
发布日期:2020-12-22
文件大小:279kb
提供者:
weixin_38675777
zhihu-crawler:zhihu-crawler是一个基于Java的高级,支持免费http代理池,支持横向扩展,分布式爬虫项目-源码
知乎爬虫 zhihu-crawler是一个基于Java的高性能,支持免费的http代理池,支持横向扩展,分布式抓取爬虫项目,主要功能是抓取知乎用户,主题,问题,答案,文章等数据,如果觉得不错,请给个星。 爬取结果 下图为爬取117w知乎用户数据的简单统计 详细统计见 需要 杰克1.8 Redis mongodb 快速开始 修改zhihu/src/main/resources/application.yaml redis,mongodb相关配置, zhihu/src/main/resourc
所属分类:
其它
发布日期:2021-02-03
文件大小:112kb
提供者:
weixin_42117032
crawlab:用于蜘蛛管理的分布式Web爬网程序管理平台,与语言和框架无关。分布式爬虫管理平台,支持任何语言和框架-源码
克劳伯 | 英语 | | | | | | 基于Golang的分布式Web爬网程序管理平台,支持多种语言,包括Python,NodeJS,Go,Java,PHP和各种Web爬网程序框架,包括Scrapy,Puppeteer,Selenium。 | 安装 三种方法: (推荐) (检查内部内核) (多节点部署) 前提条件(Docker) Docker 18.03+ Redis 5.x + MongoDB 3.6+ Docker Compose 1.24+(可选,但推荐) 前提条
所属分类:
其它
发布日期:2021-02-02
文件大小:1mb
提供者:
weixin_42116794
bdp-dataplatform:大数据生态解决方案数据平台:基于大数据,数据平台,微服务,机器学习,商城,自动化运维,DevOps,容器部署平台,数据平台,数据平台存储,数据平台计算,数据平台开发,数据平台应用构建的大数据解决方案-源码
总项目 0,大数据生态解决方案数据平台 数据平台: bdp-dataplatform:基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。 数据来源: 商城:使用SpringBoot,Java,Vue,React,Android开发多端商城,包括网站、App、微信小程序; 日志:使用Java开发服务端日志、客户端日志收集系统,使用DataX实现数据的导入导出系统;
所属分类:
其它
发布日期:2021-02-01
文件大小:40mb
提供者:
weixin_42166105