注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. SaaS模式下大数据量统计框架的研究和实现

  2. 与传统软件相比, 在软件即为服务( SaaS) 模式下做大数据量统计需要应对海量数据和高并发 处理问题。针对实际SaaS 项目中大数据量统计框架的设计和实现, 研究如何解决大数据量实时统计的性能 瓶颈问题, 如何提高框架的可扩展性以应对多变的业务需求, 以及如何保障框架的健壮性。实际项目运行 表明设计的框架能处理SaaS 模式下的海量数据和高并发, 并能高效地实现统计数据的实时计算查询。

  3. 所属分类：专业指导

    • 发布日期：2013-06-12
    • 文件大小：103kb
    • 提供者：my472360924

  1. 一种基于Hadoop的语义大数据分布式推理框架

  2. 随着语义万维网 sematic Web 和关联数据集项目 1inked data project 的不断发展 各领域的语义数据正在大规模扩增．同时 这些大规模语义数据之间存在着复杂的语义关联性 这些关联信息的挖掘对于研究者来说有着重要的意义．为解决传统推理引擎在进行大规模语义数据推理时存在的计算性能和可扩展性不足等问题 提出了一种基于Hadoop的语义大数据分布式推理框架 并且设计了相应的基于属性链 property chain 的原型推理系统来高效地发现海量语义数据中潜在的有价值的信息．实验

  3. 所属分类：其它

  1. 如何处理大数据量的查询

  2. 在实际的任何一个系统中，查询都是必不可少的一个功能，而查询设计的好坏又影响到系统的响应时间和性能这两个关键指标，尤其是当数据量变得越来越大时，于是如何处理大数据量的查询成了每个系统架构设计时都必须面对的问题。本文将从数据及数据查询的特点分析出发，结合讨论现有各种解决方案的优缺点及其适用范围，来阐述J2EE平台下如何进行查询框架的设计。

  3. 所属分类：Java

    • 发布日期：2016-01-19
    • 文件大小：79kb
    • 提供者：qq_29583721

  1. 大数据Spark企业级实战版

  2. 《大数据Spark企业级实战》详细解析了企业级Spark开发所需的几乎所有技术内容，涵盖Spark的架构设计、Spark的集群搭建、Spark内核的解析、Spark SQL、MLLib、GraphX、Spark Streaming、Tachyon、SparkR、Spark多语言编程、Spark常见问题及调优等，并且结合Spark源码细致的解析了Spark内核和四大子框架，最后在附录中提供了的Spark的开发语言Scala快速入门实战内容，学习完此书即可胜任绝大多数的企业级Spark开发需要。

  3. 所属分类：spark

    • 发布日期：2017-10-12
    • 文件大小：139mb
    • 提供者：liusiqingsong

  1. 大数据Spark企业级实战版

  2. 《大数据Spark企业级实战》详细解析了企业级Spark开发所需的几乎所有技术内容，涵盖Spark的架构设计、Spark的集群搭建、Spark内核的解析、Spark SQL、MLLib、GraphX、Spark Streaming、Tachyon、SparkR、Spark多语言编程、Spark常见问题及调优等，并且结合Spark源码细致的解析了Spark内核和四大子框架，最后在附录中提供了的Spark的开发语言Scala快速入门实战内容，学习完此书即可胜任绝大多数的企业级Spark开发需要。

  3. 所属分类：spark

    • 发布日期：2018-03-23
    • 文件大小：113mb
    • 提供者：hfut_ustcinfo

  1. 大数据Spark企业级实战版 - 王家林

  2. 《大数据Spark企业级实战》详细解析了企业级Spark开发所需的几乎所有技术内容，涵盖Spark的架构设计、Spark的集群搭建、Spark内核的解析、Spark SQL、MLLib、GraphX、Spark Streaming、Tachyon、SparkR、Spark多语言编程、Spark常见问题及调优等，并且结合Spark源码细致的解析了Spark内核和四大子框架，最后在附录中提供了的Spark的开发语言Scala快速入门实战内容，学习完此书即可胜任绝大多数的企业级Spark开发需要。

  3. 所属分类：spark

    • 发布日期：2018-06-06
    • 文件大小：110mb
    • 提供者：wyl07122028

  1. 大数据环境下基于决策树的恶意URL检测模型

  2. 恶意网址URL检测一直是信息安全防御技术领域的研究热点之一。针对传统恶意URL检测技术无法自主探测未知URL,并且缺乏适应大数据时代发展的能力等问题,设计并实现了一种基于大数据技术,结合决策树算法与黑白名单技术的恶意URL检测模型。该模型基于Spark分布式计算框架,利用已知URL训练集提取特征、训练决策树分类模型,然后用已有分类模型对黑白名单无法检测出的URL进行分类预测,达到检测目的。实验证明,构建的检测模型具有很好的检测效果和稳定性。

  3. 所属分类：spark

    • 发布日期：2018-06-22
    • 文件大小：279kb
    • 提供者：qq_28339273

  1. 一种基于Spark的大数据匿名化系统实现

  2. 分组匿名化框架是一类经典的数据匿名化技术,它通过构造匿名记录的组,使得同一组内的不同数据无法被识别区分,从而达到隐私防护的效果。电力行业大数据分析涉及电力企业核心数据、用户隐私数据,其数据敏感度更强,传统的数据匿名化系统已经无法满足电力行业大数据业务应用和安全防护的需要。基于此,设计并实现了一种基于Spark的新型大数据匿名化系统,提供对Hadoop平台上多种数据格式的支持,并有效提高对大数据的匿名化处理效率。

  3. 所属分类：spark

    • 发布日期：2018-06-22
    • 文件大小：786kb
    • 提供者：qq_28339273

  1. 北京市政务大数据平台顶层设计框架及应用方案

  2. 北京市政务大数据平台顶层设计框架及应用方案，实用。

  3. 所属分类：算法与数据结构

    • 发布日期：2018-08-06
    • 文件大小：10mb
    • 提供者：weixin_42895545

  1. 我国促进大数据发展政策工具选择体系结构及其优化策略研究

  2. 探究我国为实现促进大数据发展的政策目标而构建的政策工具选择体系结构， 揭示大数据政策工具选择中存在的问题， 为优化我国促进大数据发展政策工具选择提供建议。 ［ 方法 /过程］ 构建由63 项聚焦大数据发展的政策文本构成的政策样本集， 运用内容分析法， 对样本集中包含的政策工具进行编码。建立包含基础资源维度、 技术维度和领域维度的政策工具选择三维分析框架， 通过编码映射， 建立其与政策工具编码的关联。从领域维度， 使用层次聚类分析法， 对样本政策文本进行聚类分析。［ 结果 /结论］ 政策工具编码

  3. 所属分类：算法与数据结构

    • 发布日期：2018-10-20
    • 文件大小：1mb
    • 提供者：zhuzhuxia1225

  1. 基于大数据平台构建数据仓库的研究与实践.pdf

  2. 数据仓库设计文档，帮助大家理解及如何设计数据仓库，很不错的一篇论文。专题 lTo 学习体系,能从海量数据中提炼高价值信息,构建自主 (1)源系统结构化数据:源系统按大数据平合的 训练与反馈、可不断从最新数据中调整演化的智能业务供数规范要求提供表数据文本和标志文件。 模型体系。 (2)文件交换区FSA:文件的交换中枢,含源系 以 Hadoop^ Spark为代表的大规模数据处理技术为统结构化数据和半结构化、非结构化数据(主要是外部 超越传统数据库的处理局限性提供了先进的并行计算和数据)。 资源调度

  3. 所属分类：其它

    • 发布日期：2019-07-16
    • 文件大小：1mb
    • 提供者：bucaixia08

  1. 山西省瓦斯抽采全覆盖智能管控大数据平台

  2. 针对当前山西省抽采相关数据零散、部分矿井抽采设计依据不充分、抽采钻孔设计过于单一或不合理的、抽采达标评判不规范、抽采计量与预抽效果分析不足等突出问题,提出了基于GIS二次开发建设山西省瓦斯抽采全覆盖管控大数据平台,形成瓦斯抽采信息有序管理、集中管控、数据共享的机制。首先进行瓦斯抽采全覆盖智能管控大数据平台建设的可行性研究,然后阐述大数据平台的设计思想、建设框架、动态数据库建设、瓦斯存量动态监测、"定制式"瓦斯抽采背景评估,"过程化"钻孔工程管控、"渐进式"抽采达标评判及管理运行模式等。

  3. 所属分类：其它

    • 发布日期：2020-05-18
    • 文件大小：206kb
    • 提供者：weixin_38595243

  1. 基于区块链的数字资产管理系统框架设计与分析.pdf

  2. 企业大数据的管理与应用是数据驱动企业转型升级的先决条件。基于区块链的企业数字资产管理(Digital Asset Management)系统可以解决传统企业数字资产管理系统的诸多弊端,如版权纠纷、隐私泄露、数据丢失、恶意篡改、单点故障等。区块链技术作为一种分布式账本技术,通过加密算法、共识机制、多点维护等技术手段能够保证链上数据的可信赖性和可验证性,降低中心化管理模式带来的风险

  3. 所属分类：金融

    • 发布日期：2020-05-14
    • 文件大小：1mb
    • 提供者：shxflg

  1. 大数据框架设计

  2. 大数据B/S架构软件的框架设计应用案例文档，适用于框架设计者

  3. 所属分类：专业指导

    • 发布日期：2019-07-03
    • 文件大小：135mb
    • 提供者：teddyjohnson

  1. 大数据实验报告对应我的第二篇博客

  2. 一、大数据平台的搭建 3 1. 架构设计 6 2 服务器集群的搭建 7 （1）安装Linux操作系统、 14 （2）安装大数据处理框架Hadoop 20 3 工具软件安装 21 （1）安装关系型数据库MySQL 26 （2）安装列族数据库HBase 27 （3）安装Zookeepper 28 （4）安装数据仓库Hive 29 （5）安装Sqoop 32 （6）安装Eclipse 33 二、数据导入 34 1. 数据库、表清单 34 2. 数据对象的定义 37 （1） 创建数据库 39 （2） 创

  3. 所属分类：Hadoop

    • 发布日期：2020-12-30
    • 文件大小：8mb
    • 提供者：qq_45557681

  1. 开源组件下的大数据技术框架

  2. 目录 （一）通用框架概述 （二）数据收集层 （三）数据存储层 （四）资源管理与服务协调层 （五）计算引擎层 （六）数据分析层 （七）数据可视化层   （一）通用框架概述   自底向上，与OSI类似，通用框架下的大数据体系有七层：数据源、数据收集层、数据存储层、资源管理与服务协调层、计算引擎层、数据分析层及数据可视化层。图示如下：   （二）数据收集层   数据收集层直接与数据源对接，负责采集产品使用过程中生成的日志，具有分布式、通用化等属性。由于实际场景中，大部分的数据源是零散的，因此采集到一

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：139kb
    • 提供者：weixin_38637580

  1. bi_development_source_code:传统大数据分析工具以Hadoop，Spark为代表，集成集成的技术框架，对用户来说又重又笨又不灵活，难以维护和驾驭，国际和国内的敏捷型BI工具在对接时又面临性能本项目独辟蹊径，以阿里开源

  2. 数据挖掘 传统大数据分析工具以Hadoop，Spark为代表，集成集成的技术框架，对用户来说又重又笨又不灵活，难以维护和驾驭，国际和国内的敏捷型BI工具在对接时又面临性能本项目独辟蹊径，以阿里开源的DataX为ETL工具，以列式数据库ClickHouse做为中间数据存储源，通过视图关联构建大数据集，解决亿万级数据的即时分析性能，再辅以强大的数据可视化设计前端，通过用户自定义菜单和模板进行呈现，实现用户的自助式分析和探索。 通过灵活的预警功能，设置一些自定义的监控指标，当监控指标超过异常值时，系统

  3. 所属分类：其它

    • 发布日期：2021-03-24
    • 文件大小：77mb
    • 提供者：weixin_42173218

  1. 基于任务合并的并行大数据清洗过程优化

  2. 数据质量问题会对大数据的应用产生致命影响,因此需要对存在数据质量问题的大数据进行清洗.MapReduce编程框架可以利用并行技术实现高可扩展性的大数据清洗,然而,由于缺乏有效的设计,在基于MapReduce的数据清洗过程中存在计算的冗余,导致性能降低.因此文中的目的是对并行数据清洗过程进行优化从而提高效率.通过研究,作者发现数据清洗中一些任务往往都运行在同一输入文件上或者利用同样的运算结果,基于该发现文中提出了一种新的优化技术——基于任务合并的优化技术.针对冗余计算和利用同一输入文件的简单计算进

  3. 所属分类：其它

  1. 信息中心数据大屏看板设计案例.mp4

  2. 灵活应用框架设计工具，快速开发在线系统平台

  3. 所属分类：互联网

    • 发布日期：2021-03-12
    • 文件大小：37mb
    • 提供者：Suprman

  1. 大数据体系

  2. 开发语言 1.Java,大数据框架的编写支持很多开发语言,但是Java在大数据方面有很大的优势,目前流行的大数据Hadoop框架,MapReduce框架,很多部分都是用开源的Java语言编写,因此Java在大数据方面有很大优势 2.Scala,就大数据而言,对典型的迭代机器学习,即席查询,图计算等应用Spark比基于MapReduce,Hive,和Prgel的实现快上十倍到百倍。其中内存计算，数据本地性和传输 优化，调度优化等该居首功也与设计伊始即秉持的轻量理念不无关系,而Spark是采用Sca

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：91kb
    • 提供者：weixin_38609089
« 12 3 4 5 6 7 8 9 10 ... 48 »