注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. scrapy-redis 0.6.8包

  2. scrapy-redis是scrapy去重操作和redis链接的必要模块，使用pip安装经常不成功可以尝试这个

  3. 所属分类：Python

    • 发布日期：2018-04-02
    • 文件大小：36kb
    • 提供者：fwnjq

  1. windows下 64位系统 redis的安装(附教程)

  2. 之前用的redis总是时好时坏,遇到大量写入数据的情况,就会发生运行失灵的去情况,必须重启才行,所以重新上传这个资源 教程地址: https://blog.csdn.net/m_nanle_xiaobudiu/article/details/80448995 有问题可以在教程博客下方给我留言, 一起探讨

  3. 所属分类：PHP

  1. linux搭建redis服务器

  2. 在服务器上，你每次重启机器后再去启动redis的服务，这是很麻烦的，所以将Redis作为 Linux 服务随机启动是很有必要的。 修改/etc/rc.local文件 rootubuntu:/usr/local/redis-2.4.14# vim /etc/rc.local 在最后加入下面一行代码 ./usr/local/redis-2.4.14/src/redis-server /usr/local/redis-2.4.14/redis.conf 重启机器看看效果

  3. 所属分类：Java

  1. Redis精确去重计数方法（咆哮位图）

  2. 主要给大家介绍了关于Redis精确去重计数方法（咆哮位图）的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Redis具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧

  3. 所属分类：其它

    • 发布日期：2020-09-09
    • 文件大小：83kb
    • 提供者：weixin_38543280

  1. python redis连接 有序集合去重的代码

  2. 主要介绍了python redis连接 有序集合去重的代码，代码简单易懂，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下

  3. 所属分类：其它

    • 发布日期：2020-09-09
    • 文件大小：37kb
    • 提供者：weixin_38665490

  1. 详解PHP多个进程配合redis的有序集合实现大文件去重

  2. 主要介绍了PHP多个进程配合redis的有序集合实现大文件去重，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

  3. 所属分类：其它

    • 发布日期：2020-10-17
    • 文件大小：42kb
    • 提供者：weixin_38737335

  1. 异步redis队列实现 数据入库的方法

  2. 业务需求 app客户端向服务端接口发送来json 数据 每天 发一次 清空缓存后会再次发送 出问题之前业务逻辑： php 接口 首先将 json 转为数组 去重 在一张大表中插入不存在的数据 该用户已经存在 和新增的id 入另一种详情表 问题所在： 当用户因特殊情况清除缓存 导致app 发送json串 入库并发高 导致CPU 暴增到88% 并且居高不下 优化思路： 1、异步队列处理 2、redis 过滤（就是只处理当天第一次请求） 3、redis 辅助存储app名称（验证过后批量插入数据app

  3. 所属分类：其它

    • 发布日期：2020-12-16
    • 文件大小：112kb
    • 提供者：weixin_38532849

  1. Redis精确去重计数方法（咆哮位图）

  2. 前言 如果要统计一篇文章的阅读量，可以直接使用 Redis 的 incr 指令来完成。如果要求阅读量必须按用户去重，那就可以使用 set 来记录阅读了这篇文章的所有用户 id，获取 set 集合的长度就是去重阅读量。但是如果爆款文章阅读量太大，set 会浪费太多存储空间。这时候我们就要使用 Redis 提供的 HyperLogLog 数据结构来代替 set，它只会占用最多 12k 的存储空间就可以完成海量的去重统计。但是它牺牲了准确度，它是模糊计数，误差率约为 0.81%。 那么有没有一种不怎

  3. 所属分类：其它

    • 发布日期：2020-12-16
    • 文件大小：87kb
    • 提供者：weixin_38749863

  1. 详解Centos7下配置Redis并开机自启动

  2. 本篇文章主要介绍了Centos7下配置Redis并开机自启动，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。 最近在做作业的时候需要用到Redis缓存，由于每次重启服务器都需要重新启动Redis，也是忒烦人，于是就有了这一篇博客，好，废话不多说。 只有两个步骤： 1.设置redis.conf中daemonize为yes,确保守护进程开启。 2.编写开机自启动脚本 基本原理为：  系统开机启动时会去加载/etc/init.d/下面的脚本，通常而言每个脚本文件会自定义实现程序的启动；若想将新

  3. 所属分类：其它

    • 发布日期：2020-12-15
    • 文件大小：57kb
    • 提供者：weixin_38654915

  1. Redis实现布隆过滤器的方法及原理

  2. 布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。 本文将介绍布隆过滤器的原理以及Redis如何实现布隆过滤器。 应用场景 1、50亿个电话号码，现有10万个电话号码，如何判断这10万个是否已经存在在50亿个之中？（可能方案：数据库，set, hyperloglog） 2、新闻客户端看新闻时，它会不

  3. 所属分类：其它

    • 发布日期：2020-12-15
    • 文件大小：73kb
    • 提供者：weixin_38748210

  1. redis各种应用

  2. 文章目录redis可以做什么异步消息队列分布式锁冲突处理延时队列的实现位图HyperLogLog布隆过滤器简单限流-滑动窗口漏斗限流大海捞针scankeys reg缺点scan特点scan基本使用 redis可以做什么 记录帖子的点赞数，评论数，点击数 记录用户帖子id列表，便于快速显示用户的帖子列表 记录帖子的标题，摘要，作者和封面信息，用于列表页显示 记录帖子的点赞用户id列表，评论id列表，用于显示和去重计数 缓存近期热帖内容，减少数据库压力 如果帖子ID是自增的，使用redis分配帖子I

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：80kb
    • 提供者：weixin_38690522

  1. 详解PHP多个进程配合redis的有序集合实现大文件去重

  2. 1.对一个大文件比如我的文件为 -rw-r–r– 1 ubuntu ubuntu 9.1G Mar 1 17:53 2018-12-awk-uniq.txt 2.使用split命令切割成10个小文件 split -b 1000m 2018-12-awk-uniq.txt -b 按照字节切割 , 支持单位m和k 3.使用10个php进程读取文件 , 插入redis的有序集合结构中 , 重复的是插不进去的 ,因此可以起到去重的作用 <?php $file=$argv[1]; //守护进程

  3. 所属分类：其它

    • 发布日期：2021-01-02
    • 文件大小：58kb
    • 提供者：weixin_38569109

  1. PassiveDataSorting:自动化被动扫描系统分为数据源，数据处理，扩展验证等三个变量，本系统属于数据处理部分，抓取流量分配的数据，进行分析过滤去重等操作，发送至消息数值中，等待PassiveSecCheck消费-源码

  2. PassiveDataSorting 0.1 自动化被动扫描系统分为数据源，数据处理，扩展验证等三个变量，本系统属于数据处理部分，抓取流量分配的数据，进行分析过滤去重等操作，发送至消息数值中，等待PassiveSecCheck消费 作者 咚咚呛 如有其他建议，可联系微信280495355 支持 满足如下安全需求 1、支持大流量镜像(比如核心交换机上对负载均衡nginx或waf流量镜像)数据处理，当流量过大会主动丢弃 2、支持流量对http解析 2、支持按照规则进行去重、去静态、去相似等方法，已集

  3. 所属分类：其它

    • 发布日期：2021-03-11
    • 文件大小：81kb
    • 提供者：weixin_42130889

  1. SqlReview:sql去重，采样，解析，打分统计慢查询实现sql审核系统-源码

  2. SqlReview sql去重，采样，解析，打分统计慢查询实现sql审核系统 说明 需要在前一层做一下sql收集任务，写进redis拿yii2来说，通过日志来收集sql 展示

  3. 所属分类：其它

    • 发布日期：2021-03-11
    • 文件大小：12mb
    • 提供者：weixin_42102401

  1. SqlReview:sql去重，采样，解析，打分统计慢查询实现sql审核系统-源码

  2. SqlReview sql去重，采样，解析，打分统计慢查询实现sql审核系统 说明 需要在前一层做一下sql收集任务，写进redis拿yii2来说，通过日志来收集sql 展示 如果你对我的辛勤劳动给予肯定，请给我捐赠，你的捐赠是我最大的动力

  3. 所属分类：其它

    • 发布日期：2021-03-11
    • 文件大小：12mb
    • 提供者：weixin_42139429

  1. 利用Redis进行数据去重

  2. 前言 之前有篇文章提到了实现增量爬虫可以利用redis数据库进行url去重，今天博主就给大家分享一下python如何利用redis进行去重吧。在试验中，我们用到Redis数据库和hash算法，我们先了解一下Redis和hashlib。 Redis简介 Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis 优势 读写速度极快，Redis能读的速度是110000次/s,写的速度是81000次/s 。 支持多种数据结构：string（字符串）；list（列

  3. 所属分类：其它

    • 发布日期：2021-01-21
    • 文件大小：61kb
    • 提供者：weixin_38684976

  1. redis禁止几个危险命令的方法

  2. 这几天客户一直给我反映一个问题，那就是他的缓存服务器redis每天会清理库，很纳闷，我配置的redis一般保持的默认，不应该会每天去清理库的，感觉应该还是他的程序上有点问题吧。 不过，不管程序问题还是配置问题，我想到就是可以吧清库的命令禁掉，这样即使他程序要去清理也是没办法的，于是就百度了一下，看到所有相关的文档都是一个人写的，就是在redis.conf中使用rename-conmand rename-command FLUSHALL rename-command FLUSHDB rena

  3. 所属分类：其它

    • 发布日期：2021-01-21
    • 文件大小：55kb
    • 提供者：weixin_38703980

  1. Redis使用bloom-filter过滤器实现推荐去重

  2. 前期准备 redis原生并不带布隆过滤器，需要单独下载并自行编译和加载。 1.下载redisbloom插件(redis官网下载即可) https://github.com/RedisLabsModules/redisbloom/ wget https://github.com/RedisLabsModules/rebloom/archive/v1.1.1.tar.gz 2.解压，cd、make，make后会生成rebloom.so文件 tar -zxvf v1.1.1.tar.gz cd

  3. 所属分类：其它

    • 发布日期：2021-01-21
    • 文件大小：48kb
    • 提供者：weixin_38515573

  1. python redis连接 有序集合去重的代码

  2. python redis连接 有序集合去重的代码如下所述： # -*- coding: utf-8 -*- import redis from constant import redis_ip, redis_db, redis_pw, redis_zset_name pool = redis.ConnectionPool(host=redis_ip, db=redis_db, password=redis_pw) # pool = redis.ConnectionPool(db=6, pass

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：40kb
    • 提供者：weixin_38686860

  1. redis实现排行榜的简单方法

  2. 1 前言 实现一个排版榜，我们通常想到的就是mysql的order by 简单粗暴就撸出来了。但是这样真的优雅吗？ 数据库是系统的瓶颈，这是众所周知的。如果给你一张百万的表，让你排序做排行榜，花费的时间是十分可怕的。 不如缓存吧，order by的时候强制使用索引。但是这样真的优雅吗？ 2 Redis的排行榜 我们分析一下排行榜，一个用户一个排名，意味着要去重，这时我们会想到Java的一种数据结构Set。不过Set又是无序的。有没有一种结构是可以保住元素唯一以及有序的呢。 幸运的是，还真的有

  3. 所属分类：其它

    • 发布日期：2021-01-19
    • 文件大小：61kb
    • 提供者：weixin_38749305
« 12 3 »