[算法与数据结构] 基于区块链的数据治理协同方法研究及应用

说明： 针对当前数据治理过程中面临的数据标准不统一、数据质量良莠不齐以及数据安全隐私凸显等问题,提出一种基于区块链的数据治理协同方法,将区块链多方协作、安全可信等特性应用到数据标准的构建、数据安全的保障和数据共享过程的控制。本方法首先根据数据治理要求和区块链特征,提炼形成基于区块链的数据治理协同模型,通过构建多方协作的数据标准流程、数据标准构建和更新机制、安全可靠的数据共享和访问控制等,实现区块链数据治理协同方法,从而提升数据标准化工作的效率和安全性。实验及分析结果表明,本文提出的方法比传统的数据标准
<qq_28339273> 上传 | 大小：326kb

[spark] 基于Spark的推荐系统的设计与实现

说明： 推荐系统是数据挖掘的一个重要部分,能够实现海量数据信息的快速、全面、准确过滤。然而基于以往传统单个主机模式实现的推荐算法其计算过程耗费的时间过长,已经不能满足当前商业时代快速可靠的技术追求。大数据平台Spark分布式计算框架通过引入RDD(弹性分布式数据集)的概念以及基于内存的运算模式,能够更好的适应大数据挖掘这一应用场景。推荐算法在实现过程中存在多次迭代计算,Spark计算框架的使用可以极大提升推荐系统的运算效率。本文利用Spark平台设计了一个基于物品的协同过滤(Item-CF)算法的商品
<qq_28339273> 上传 | 大小：516kb

[算法与数据结构] 基于贝叶斯网络的复杂事件大数据处理系统测试数据生成方法研究

说明： 伴随流式数据处理需求而产生的复杂事件处理技术，在处理具有多样性和流式特征数据方面性能表现突出，被广泛应用于复杂事件大数据处理系统中。针对复杂事件大数据处理系统测试需求，提出一种基于贝叶斯网络的复杂事件大数据处理系统测试数据生成方法，该方法以部分真实数据中的复杂事件结构关系及概率分布特征构建贝叶斯网络预测模型，生成具有真实数据结构特征与分布特征的复杂事件测试数据集。实验结果表明，提出的方法具有可行性。
<qq_28339273> 上传 | 大小：1mb

[算法与数据结构] 基于拟态计算的大数据高效能平台设计方法

说明： 针对当前大数据应用主要以通用处理器为计算核心，且系统结构单一、能效比低，无法充分满足大数据的计算需求。基于拟态计算模型，提出了一种大数据高效能平台的设计方法。该方法以算粒为基本研究对象，深入剖析大数据应用算法的特征，合理划分各计算子任务；其次，构造体系结构匹配矩阵，并将子任务分配到合理的处理部件上；最后，利用动态电压/频率调节技术和数据布局算法，实现非关键任务的电压控制，并优化关键任务的结构布局。实验结果表明，拟态计算能深度融合各异构计算部件，建立具有灵活、可拓展的体系结构，充分发挥系统整体执
<qq_28339273> 上传 | 大小：1mb

[算法与数据结构] 基于量子辐射场的大数据安全存储寻址算法

说明： 大数据存储过程面临着与日俱增的各种威胁,而传统数据存储算法难以有效应对这些新型威胁。以量子力学和量子遗传的关系为基础,构建量子辐射与量子遗传迭代的、双向可逆过程的数学函数和计算机程序,为流数据的大规模量子安全存储构建软件基础环境。在量子力学和量子遗传的映射关系下,将量子染色体的定义和交互作用通过量子比特和量子旋转门的计算实现,将量子染色体的交互通过量子引力作用和量子斥力作用的交互实现,将量子染色体动态过程的主要衡量指标通过引力和斥力的叠加态来计算产生。用量子引力和斥力来引导流数据的动态存储寻址
<qq_28339273> 上传 | 大小：628kb

[算法与数据结构] 大数据在智慧城市发展中的作用与应用

说明： 时代在进步,科技在发展,中国社会的发展速度越来越快,信息化已骤然来到了大数据时代,大数据在各领域的广泛应用和信息技术的进化将大数据时代推向高潮。智慧城市是数字城市在大数据时代进一步演化出的一种新的城市形态,是一种自我智能优化的城市进化形态,它是城市化与信息技术深度融合的产物。本文从大数据的基本内容着手,分析了大数据在智慧城市中的应用与作用。
<qq_28339273> 上传 | 大小：1mb

[算法与数据结构] 面向工业大数据的多层增量特征提取方法

说明： 针对工业大数据中高维小样本情况导致增量线性判别分析失效问题,提出了一种面向工业大数据的多层增量特征提取方法,对高维小样本数据进行有效降维,并最大限度保留样本的变异信息和判别信息。首先,利用滑动窗口增量实时更新数据流,检测和过滤离群点,基于增量主成分分析对数据进行初步特征提取,利用Fisher准则函数量化各主元所包含的分类信息;然后,采用熵值法确定各主元贡献率和识别能力的权重,对主元进行筛选,由筛选出的主元构成新的特征空间;最后,将当前窗口的高维数据通过增量线性判别分析投影,完成二次特征提取的同
<qq_28339273> 上传 | 大小：503kb

[算法与数据结构] 面向分布式数据流大数据分类的多变量决策树

说明： 分布式数据流大数据中的类别边界不规则且易变,因此基于单变量决策树的集成分类器需要较大数量的基分类器才能准确地近似表达类别边界,这将降低集成分类器的学习与分类性能.因而,本文提出了基于几何轮廓相似度的多变量决策树.在最优基准向量的引导下将n维空间样本点投影到一维空间以建立有序投影点集合,然后通过类别投影边界将有序投影点集合划分为多个子集,接着分别对不同类别集合的交集递归投影分裂,最终生成决策树.实验表明:本文提出的多变量决策树GODT具有很高的分类精度和较低的训练时间,有效结合了单变量决策树学习
<qq_28339273> 上传 | 大小：1mb

[Hbase] 基于Hbase的多分类逻辑回归算法研究

说明： 为解决在大数据环境下，用于训练多分类逻辑回归模型的数据集可能会超过执行计算的客户端内存的问题，提出了块批量梯度下降算法，用于计算回归模型的系数。将训练数据集存入HBase后，通过设置表扫描对象的起始行键参数，可取出大小合适的含训练样本及结果值的数据块，同时为避免客户端到服务端频繁的RPC调用，取出的数据块可进行多次迭代计算，以加快系数的收敛。当取出的数据块达到指定的迭代次数后，再按行键次序取出下一个数据块，如此循环，直到系数收敛或达到指定的循环控制阈值。多分类的逻辑回归问题可转换为二分类来解决
<qq_28339273> 上传 | 大小：1mb

[算法与数据结构] 基于大数据的视频智能分析系统的应用

说明： 大数据技术在营销、金融等行业用来分析客户行为指导精准营销,已经取得了广泛成功。但是在视频监控领域应用发展十分迟缓,其主要原因就是视频监控领域的核心数据是视频是非结构化数据,无法直接使用成熟的大数据软件进行分析处理。对此,首先对大数据技术进行了介绍,并对大数据技术在视频智能分析领域应用进行详细探究,以期促进视频大数据在平安城市建设的应用。
<qq_28339273> 上传 | 大小：981kb

[算法与数据结构] 面向位置大数据的快速密度聚类算法

说明： 本文面向位置大数据聚类,提出了一种简单但高效的快速密度聚类算法CBSCAN,以快速发现位置大数据中任意形状的聚类簇模式和噪声.首先,定义了Cell网格概念,并提出了基于Cell的距离分析理论,利用该距离分析,无需距离计算,可快速确定高密度区域的核心点和密度相连关系;其次,给出了网格簇定义,将基于位置点的密度簇映射成基于网格的密度簇,利用排他网格与相邻网格的密度关系,可快速确定网格簇的包含网格;第三,利用基于Cell的距离分析理论和网格簇概念,实现了一个快速密度聚类算法,将DBSCAN基于数据点
<qq_28339273> 上传 | 大小：4mb

[算法与数据结构] 大数据与统计新思维

说明： 最近,《大数据时代》等几本书引起了广泛的关注,大数据正在改变着人们的行为与思维,那么以数据为研究对象的统计学该如何应对,本文基于对大数据的理解,认为统计思维需要发生三个方面的改变,即要改变认识数据的思维、收集数据的思维和分析数据的思维。其中,数据分析思维又要在统计分析过程、实证分析思路、推断分析逻辑等方面发生变化,同时统计分析评价的标准也要有所调整。围绕这些变化,本文提出需要从八个方面去积极应对大数据,以促使统计学科跟上时代的步伐。
<qq_28339273> 上传 | 大小：301kb