注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. Google数据仓库Mesa论文

  2. 9月在杭州举行的数据库学术会议VLDB 2014上，Google的工程副总Shivakumar Venkataraman与正在Google访问的UCSB教授、IEEE与ACM Fellow Divyakant Agrawal将做主题演讲，介绍Google的实时分析数据仓库Mesa。 Mesa是一个高度可扩展的分析型数据仓库系统，用于存储Google互联网广告业务相关的关键衡量数据。Mesa的设计目的是满足一系列复杂而有挑战性的用户与系统需求，包括近实时的数据获取和查询、高可用性、可靠性、容错和

  3. 所属分类：专业指导

    • 发布日期：2014-08-08
    • 文件大小：393kb
    • 提供者：u014485012

  1. Mongodb亿级数据量的性能测试

  2. Mongodb亿级数据量的性能测试 测试项目 分析测试结果

  3. 所属分类：MongoDB

    • 发布日期：2015-06-15
    • 文件大小：968kb
    • 提供者：helence

  1. mdrill源代码

  2. 由于Mdrill已经停止开发，这是最新的版本了。 编译后，超过了文件大小限制，只好把源代码上传了，大家自己动手编译吧。 mdrill是由阿里妈妈开源的一套数据的软件，针对TB级数据量，能够仅用10台机器，达到秒级响应，数据能实时导入,可以对任意的维度进行组合与过滤。 mdrill作为数据在线分析处理软件，可以在几秒到几十秒的时间，分析百亿级别的任意组合维度的数据。 在阿里10台机器完成每日30亿的数据存储，其中10亿为实时的数据导入，20亿为离线导入。目前集群的总存储3200多亿80~400维

  3. 所属分类：互联网

    • 发布日期：2015-08-26
    • 文件大小：16mb
    • 提供者：beibuwandebug

  1. 亿级流量网站架构核心技术-跟开涛学搭建高可用高并发系统（高清完整版）

  2. 第1部分 概述 / 1 1 交易型系统设计的一些原则 / 2 1.1 高并发原则 / 3 1.1.1 无状态 / 3 1.1.2 拆分 / 3 1.1.3 服务化 / 4 1.1.4 消息队列 / 4 1.1.5 数据异构 / 6 1.1.6 缓存银弹 / 7 1.1.7 并发化 / 9 1.2 高可用原则 / 10 1.2.1 降级 / 10 1.2.2 限流 / 11 1.2.3 切流量 / 12 1.2.4 可回滚 / 12 1.3 业务设计原则 / 12 1.3.1 防重设计 / 13

  3. 所属分类：Java

    • 发布日期：2017-10-13
    • 文件大小：175mb
    • 提供者：jsntghf

  1. 开涛高可用高并发-亿级流量核心技术

  2. 第1部分概述 1 1 交易型系统设计的一些原则 2 1.1 高并发原则 3 1.1.1 无状态 3 1.1.2 拆分 3 1.1.3 服务化 4 1.1.4 消息队列 4 1.1.5 数据异构 6 1.1.6 缓存银弹 7 1.1.7 并发化 9 1.2 高可用原则 10 1.2.1 降级 10 1.2.2 限流 11 1.2.3 切流量 12 1.2.4 可回滚 12 1.3 业务设计原则 12 1.3.1 防重设计 13 1.3.2 幂等设计 13 1.3.3 流程可定义 13 1.3.4

  3. 所属分类：Web开发

    • 发布日期：2018-03-22
    • 文件大小：150mb
    • 提供者：a123demi

  1. 亿级流量网站架构核心技术 跟开涛学搭建高可用高并发系统 ,张开涛(著) 高清

  2. 第1部分 概述 / 1 1 交易型系统设计的一些原则 / 2 1.1 高并发原则 / 3 1.1.1 无状态 / 3 1.1.2 拆分 / 3 1.1.3 服务化 / 4 1.1.4 消息队列 / 4 1.1.5 数据异构 / 6 1.1.6 缓存银弹 / 7 1.1.7 并发化 / 9 1.2 高可用原则 / 10 1.2.1 降级 / 10 1.2.2 限流 / 11 1.2.3 切流量 / 12 1.2.4 可回滚 / 12 1.3 业务设计原则 / 12 1.3.1 防重设计 / 13

  3. 所属分类：Web开发

    • 发布日期：2018-04-07
    • 文件大小：175mb
    • 提供者：kuigoutang2400

  1. 极光推送千亿级统计平台构建

  2. 光环国际线下交流PPT，主要内容：1、数据量极大带来的挑战；2、lambda架构平台；3、实时统计；4、离线统计；5、数据存储；6、统计质量设计；7、小结。

  3. 所属分类：Hadoop

  1. 20160706_友盟+_菜鸟大数据赋能互联网+物流.pdf

  2. 20160706_友盟+_菜鸟大数据赋能互联网+物流.pdf！考友盟+ wwwumeng.com 如果说电子商务10解决了买卖双方信息不对称问题,产 生了大量新增消费;2.0解决了支付信用问题,大幅降低了资 金交易成本;当前的30时代,信息流、资金流问题基本解决 电商以減少中间商业环节增强竞争力的模式已没有多余空间 大数据应用下沉到供应链,以云供应链降低流通成本,成为大 势所趋。 考友盟+ wwwumeng.com 传统物流面临的问题与挑战 物流信息化水平低造成物流成本高 物流服务质量影响消费

  3. 所属分类：互联网

    • 发布日期：2019-07-03
    • 文件大小：858kb
    • 提供者：qq_34543438

  1. Vertica实时数据分析平台

  2. 深度介绍Vertica产品总体架构、核心优势、集群能力、Vertica与Hadoop的数据交换、SQL高级分析、与分布式R无缝集成、灾备能力等等，是不可多得的了解Vertica的好资料。数据分析平台演进阶段及挑战 事件触发,全量数据实时分析频 价值实 业务相关性分析 繁访问 产品分析、用户行为分析客客户活动预测,客户流失预测,直接提升业务 户分析等灵活直询和数据分析产品盈利预测 面向大量业务人员 MOLAP CUBE生成 面向少量管理者的机器学习和 现整合层行业模型批量加工 预测 监管报送等数据

  3. 所属分类：Hadoop

    • 发布日期：2019-04-20
    • 文件大小：4mb
    • 提供者：skyon

  1. C#导出数据到excel如何提升性能

  2. 一，要提升性能，我们先要知道耗时的地方在哪里 1，数据库查询， 2，把数据组合成新集合循环嵌套太多 二，那我们怎么优化呢？ 一，数据库查询， 1》，数据库查询：如果数据量小，我们可以用临时datatable，连表查询，，可是如果是连表都是千万级上亿数据，就不建议用连表 那这个时候该怎么办呢？ 2》这个时候我们可以选择先单表查询，然后再循环体查询自己所要的其他关联数据，这个时候我们需要注意的点是什么？ 3》减少数据库查询！！！！！！！！！这个是重点，那怎么减少呢？正常逻辑如下代码，可是数

  3. 所属分类：其它

    • 发布日期：2020-12-17
    • 文件大小：43kb
    • 提供者：weixin_38569219

  1. 大数据时代是什么意思？

  2. 近年来，信息技术迅猛发展，尤其是以互联网、物联网、信息获取、社交网络等为代表的技术日新月异，促使手机、平板电脑、pc 等各式各样的信息传感器随处可见，虚拟网络快速发展，现实世界快速虚拟化，数据的来源及其数量正以前所未有的速度增长。 伴随着云计算、大数据、物联网、人工智能等信息技术的快速发展和传统产业数字化的转型，数据量呈现几何级增长，根据市场研究资料显示，全球数据总量将从 2016 年的 16.1ZB 增长到 2025 年的 163ZB （约合 180 万亿 GB），十年内将有 10 倍的增长，

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：153kb
    • 提供者：weixin_38732252

  1. 杉岩数据企业内容管理解决方案

  2. 随着人工智能、4G/5G技术发展，越来越多的企业利用照片、视频等方式取代现场业务办理，提升业务办理效率，同时通过这些方式记录业务处理过程，保证服务质量。而这些方式的应用，使得企业应用产生非结构化数据的来源变多，非结构化数据量也呈现爆发性增长，对这些数据的科学管理和有效开发成为企业正确决策、增强竞争力的关键。 杉岩企业内容管理解决方案，帮助企业客户实现跨业务系统的非结构化数据统一存储、统一管理和价值挖掘，提升企业业务管理水平。 客户需求 数据增长快导致管理复杂化 文件数量快速增长达到数亿级别，存储

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：90kb
    • 提供者：weixin_38631978

  1. Sqluldr2 oracle 亿级数据量导出工具

  2. Sqluldr2 是一款 Oracle 数据快速导出工具，包含 32、64 位程序，sqluldr2 在大数据量导出方面速度超快，能导出亿级数据为excel文件，另外它的导入速度也是非常快速，功能是将数据以 TXT/CSV 等格式导出。

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：334kb
    • 提供者：Roobert_Chao

  1. 使用Kettle进行数据迁移（ETL）

  2. 由于开发新的系统，需要将之前一个老的C/S应用的数据按照新的数据设计导入到新库中。此过程可能涉及到表结构不一致、大数据量（千万级，甚至上亿）等情况，包括异构数据的抽取、清洗等等工作。部分复杂的工作需要我们的DBA写代码用程序在JDBC或者Delphi中解决，而大部分稍简单的数据的迁移需要一个强大的ETL工具来解决。某日，技术经理让我找一个满足我们项目数据迁移需求的稳定、高效ETL工具。google了几把，网上大致有下列几款软件资料较多：Oracle的OWB（OracleWarehouseBuil

  3. 所属分类：其它

  1. 徐汉彬：亿级Web系统搭建——单机到分布式集群(一）

  2. 随着数据暴增，单服务器开始疲于应对海量用户的访问。自本期《问底》，徐汉彬将带大家开启异地跨集群分布式系统打造，本次关注的重点则是架构从单机到分布式集群的转变。徐汉彬曾在*和腾讯从事4年多的技术研发工作，负责过日请求量过亿的Web系统升级与重构，目前在小满科技创业，从事SaaS服务技术建设。 大规模流量的网站架构，从来都是慢慢“成长”而来。而这个过程中，会遇到很多问题，在不断解决问题的过程中，Web系统变得越来越大。并且，新的挑战又往往出现在旧的解决方案之上。希望这篇文章能够为技术人员提供一

  3. 所属分类：其它

    • 发布日期：2021-03-03
    • 文件大小：251kb
    • 提供者：weixin_38576922

  1. 万亿级日志与行为数据存储查询技术剖析

  2. 近些年，大数据背后的价值也开始得到关注和重视，越来越多的企业开始保存和分析数据，希望从中挖掘大数据的价值。大数据产生的根本还是增量数据，单纯的用户数据不足以构成大数据，然而用户的行为或行为相关的日志的数据量，加之随着物联网的发力，产生的增量数据将不可预估，存储和查询增量数据尤为关键。所以，在笔者的工作经历中，本着以下的目标，寻找更优的大数据存储和查询方案：数据无损：数据分析挖掘都依赖于我们保存的数据，只有做到数据的无损，才有可能任意的定义指标，满足各种业务需求。保证数据实时性：数据的实时性越来越

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：242kb
    • 提供者：weixin_38685538

  1. 阿里万亿交易量级下的秒级监控

  2. 先介绍一下监控系统Sunfire，它是阿里集团的业务监控系统，前身是蚂蚁的xflush,支持应用标准化监控，如操作系统，JVM，中间件等。除此之外还有更强大的日志监控能力，大多数业务的监控指标都从应用的日志中抽取。目前覆盖了集团几乎所有BU和绝大多数业务，每分钟处理TB级日志。下面将从以下四个方面进行讲解：1.架构2.规模与挑战3.技术选择4.方向每分钟处理这么大的TB级日志量，我们是怎么设计架构去实现它的呢？上图是传统的日志监控，现在大多数监控平台采用的一个方案。Agnet检测日志变化增量推送

  3. 所属分类：其它

  1. Elasticsearch亿级数据检索性能优化案例实战！

  2. 数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。改进版本目标：1.数据能跨月查询，并且支持1年以上的历史数据查询与导出。2.按条件的数据查询秒级返回。谈到优化，必须能了解组件

  3. 所属分类：其它

    • 发布日期：2021-02-24
    • 文件大小：447kb
    • 提供者：weixin_38623000

  1. 徐汉彬：亿级Web系统搭建——单机到分布式集群(一）

  2. 随着数据暴增，单服务器开始疲于应对海量用户的访问。自本期《问底》，徐汉彬将带大家开启异地跨集群分布式系统打造，本次关注的重点则是架构从单机到分布式集群的转变。徐汉彬曾在*和腾讯从事4年多的技术研发工作，负责过日请求量过亿的Web系统升级与重构，目前在小满科技创业，从事SaaS服务技术建设。 大规模流量的网站架构，从来都是慢慢“成长”而来。而这个过程中，会遇到很多问题，在不断解决问题的过程中，Web系统变得越来越大。并且，新的挑战又往往出现在旧的解决方案之上。希望这篇文章能够为技术人员提供一

  3. 所属分类：其它

    • 发布日期：2021-02-21
    • 文件大小：251kb
    • 提供者：weixin_38721565

  1. 万亿级日志与行为数据存储查询技术剖析

  2. 近些年，大数据背后的价值也开始得到关注和重视，越来越多的企业开始保存和分析数据，希望从中挖掘大数据的价值。大数据产生的根本还是增量数据，单纯的用户数据不足以构成大数据，然而用户的行为或行为相关的日志的数据量，加之随着物联网的发力，产生的增量数据将不可预估，存储和查询增量数据尤为关键。所以，在笔者的工作经历中，本着以下的目标，寻找更优的大数据存储和查询方案：数据无损：数据分析挖掘都依赖于我们保存的数据，只有做到数据的无损，才有可能任意的定义指标，满足各种业务需求。 保证数据实时性：数据的

  3. 所属分类：其它

    • 发布日期：2021-01-29
    • 文件大小：242kb
    • 提供者：weixin_38610052
« 12 3 4 »