文件名称:
轻量化的Java网络爬虫 GECCO.zip
开发工具:
文件大小: 244kb
下载次数: 0
上传时间: 2019-07-18
详细说明： Gecco是什么 Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架，让您只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。Gecco框架有优秀的可扩展性，框架基于开闭原则进行设计，对修改关闭、对扩展开放。同时Gecco基于十分开放的MIT开源协议，无论你是使用者还是希望共同完善Gecco的开发者，欢迎pull request。如果你喜欢这款爬虫框架请star 或者 fork!参考手册架构图： 主要特征 简单易用，使用jquery风格的选择器抽取元素 支持页面中的异步ajax请求 支持页 面中的javascript变量抽取 利用Redis实现分布式抓取,参考gecco-redis 支持结合Spring开发业务逻辑,参考gecco-spring 支持htmlunit扩展,参考gecco-htmlunit 支持插件扩展机制 支持下载时UserAgent随机选取 支持下载代理服务器随机选取 使用手册：http://www.geccocrawler.com/tag/sysc/快速入门：Gecco(matchUrl="https://github.com/{user}/{project}", pipelines="consolePipeline") public class MyGithub implements HtmlBean { private static final long serialVersionUID = -7127412585200687225L; RequestParameter("user") private String user; RequestParameter("project") private String project; Text HtmlField(cssPath=".repository-meta-content") private String title; Text HtmlField(cssPath=".pagehead-actions li:nth-child(2) .social-count") private int star; Text HtmlField(cssPath=".pagehead-actions li:nth-child(3) .social-count") private int fork; Html HtmlField(cssPath=".entry-content") private String readme; public String getReadme() { return readme; } public void setReadme(String readme) { this.readme = readme; } public String getUser() { return user; } public void setUser(String user) { this.user = user; } public String getProject() { return project; } public void setProject(String project) { this.project = project; } public String getTitle() { return title; } public void setTitle(String title) { this.title = title; } public int getStar() { return star; } public void setStar(int star) { this.star = star; } public int getFork() { return fork; } public void setFork(int fork) { this.fork = fork; } public static void main(String[] args) { GeccoEngine.create() .classpath("com.geccocrawler.gecco.demo") .start("https://github.com/xtuhcy/gecco") .thread(1) .interval(2000) .loop(true) .mobile(false) .start(); } }demo地址：教您使用java爬虫gecco抓取JD全部商品信息（一）教您使用java爬虫gecco抓取JD全部商品信息（二）教您使用java爬虫gecco抓取JD全部商品信息（三）集成Htmlunit下载页面爬虫的监控一个完整的例子，分页处理，结合spring，mysql入库 标签：网络爬虫 开源爬虫
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
相关搜索:
