Egg 简介 Egg 它一个通用高效的爬虫,希望它能够替大家实现一些需求，更希望能为开源做出自己的贡献。目前，还在成长，在我的构想下，它还需要添加很多功能，我会继续完善。有任何疑问以及需求请以与作者交流:630841816qq.com Egg是一个通用，多线程的Java爬虫框架。 Egg简单小巧，api非常简单，容易上手。 Egg性能不错，并实现多种请求方式。 能够比较快的响应使用者的需求 速度说明 实测数据，在20M无线网下（隔了堵墙，所以

基于node, koa2的egg实现一个新闻爬虫系统。运用技术有：控制器、路由、视图、中间件等 、

Selenium履带式 =========================================== 用关键字遍历购物网站，将搜寻结果清单存入excel 使用关键字遍历Momo购物网站并将搜索结果列表保存到Excel 专门针对购物网站的产品品项，去做遍历并访问其产品资讯，以供数据分析。 无需登录个人资讯。 投放广告不影响搜寻结果。 快速入门 pip install -e git+https://github.com/shutuzi88/selenium-crawler.git#egg=

电影预告 Vue全家桶开发的电影预告片webAPP，可以查看正在热映与即将上映的电影信息和短片。 相关项目： 后台API支持 （已升级成Egg） 电影数据爬虫 （python爬取，已废弃） 扫码体验 效果截图 更新日志 V3.0.0 使用vue3 + Typescr ipt进行重构 使用travis实现持续集成，自动发布 V2.0.0 尝试使用持续集成工具travis进行打包测试（有待继续探索，实现自动发布） 评分区间筛选器从点击更改手指滑动，提升体验 ESLint加强增加vue/standa

前言 众所周知scrapy是Python中鼎鼎大名的爬虫框架，在安装scrapy过程中碰到了openssl某个文件找不到的问题，并进行了分析，记录之。 一、 scrapy以及安装过程 Scrapy是python中鼎鼎大名的爬虫框架，笔者在Centos 7系统之上进行安装，发现了如下问题：    >> pip install scrapy 由于安装过程中的过程信息比较多，这里只列出了其中的关键片段信息： running egg_info writing requirements