[spark] webMagic0.7.3

说明： 解决webMagic0.7.3 出现javax.net.ssl.SSLException: Received fatal alert: protocol_version的问题
<wenlong68580610> 上传 | 大小：96kb

[spark] LocaSpaceViewer

说明： 可视化地形分析，高程点下载，可进行视线、视域分析，挖填方计算等
<weixin_42542096> 上传 | 大小：70mb

[spark] struts2jar包大全

说明： struts2jar包大全，所有的文件都在这里里面，很棒，下载后希望评论
<wzq__janegreen_> 上传 | 大小：23mb

[spark] 三套大数据实战项目集合（视频讲解+源代码+相关文档+相关软件资料）

说明： 1、大数据平台基础概述。2、驴妈妈大数据平台项目。3、某团购网大型电商离线数据分析平台。4、视频讲解+源代码+相关文档+相关软件资料
<godlovedaniel> 上传 | 大小：64byte

[spark] 基于Spark技术的网络大数据分析平台搭建与应用

说明： 搭建基于Spark技术的网络大数据分析平台,对信令进行分析和处理,提升了分析效率。通过现网实际数据验证,该平台具有高效和可扩展性强的特点,未来可适用范围较广。
<qq_28339273> 上传 | 大小：467kb

[spark] 基于Spark的并行遗传算法在状态方程构建中的应用

说明： 对状态方程参数的确定问题,提出了基于Spark的变化搜索空间的并行遗传算法。把参数确定问题转化为函数最优化问题,可以使用遗传算法求解。通过将遗传算法与Spark相结合,加快算法的计算速度。在此基础上开发了基于Spark的并行遗传算法程序,数值实验表明算法可以用来解决状态方程中参数的确定问题,且实验所得结果的精度只与实验数据的精度有关。同时实验数据表明并行的遗传算法不仅可以加快计算速度还可以提高结果的精度和稳定性。
<qq_28339273> 上传 | 大小：525kb

[spark] 基于Spark的大数据挖掘技术的研究

说明： Spark在实际的工业生产和实践中已经获得了广泛的应用,但是由于其诞生的时间较晚,版本更新速度慢。现阶段,使用Spark框架在某些具体的大数据场景中能对其挖掘,就要结合原有的模块改写部分功能,发挥其应有的作用。解决大数据挖掘问题的同时,Spark框架由于功能性不足,如进行机器学习库的时候的MLlib里面解决关联新问题的分布式机器学习算法还有不足之处。故此,该文就Spark大数据挖掘技术开展深入的研究,希望能为该领域研究提供参考。
<qq_28339273> 上传 | 大小：1mb

[spark] 一种大数据交互式挖掘框架与实现

说明： 在传统的数据挖掘过程中,用户需根据专业知识对数据进行预处理,为模型设定参数后构建模型,通过评估指标判断模型是否可行。该过程的不便性体现在模型以黑盒的方式构建,用户不可见其中间过程,模型产生的结果也不易被理解。在海量数据的环境下,传统数据挖掘过程在预处理时异常数据的定位和模型生成后知识的表达方面都有不便。为了解决传统数据挖掘过程存在的问题,本文提出了一种大数据环境下的交互式数据挖掘框架。该框架使交互贯穿整个数据挖掘的过程,使得用户可以轻松定位异常输入源数据,参与模型训练过程,对模型生成的结果溯源
<qq_28339273> 上传 | 大小：3mb

[spark] 并行计算框架Spark的自适应缓存管理策略

说明： 并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选择算法(Selection)、并行缓存清理算法(Parallel Cache Cleanup,PCC)和权重缓存替换算法(Lowest Weight Replacement,LWR).其中,缓存自动选择算法通过分析任务的DAG
<qq_28339273> 上传 | 大小：1mb

[spark] Apache Spark:大数据处理统一引擎

说明： Spark的通用性有几个重要的好处。(1)应用程序更容易开发,因为它们使用统一的API。(2)结合处理任务更有效;而先前的系统需要将数据写入存储以将其传递给另一个引擎,Spark可以在相同的数据(通常在存储器中)上运行不同的功能。(3)Spark启用了以前系统无法实现的新应用程序。自2010年发布以来,Spark已经发展为活跃的开源项目或大数据处理。
<qq_28339273> 上传 | 大小：68kb

[spark] 一种基于Spark的大数据匿名化系统实现

说明： 分组匿名化框架是一类经典的数据匿名化技术,它通过构造匿名记录的组,使得同一组内的不同数据无法被识别区分,从而达到隐私防护的效果。电力行业大数据分析涉及电力企业核心数据、用户隐私数据,其数据敏感度更强,传统的数据匿名化系统已经无法满足电力行业大数据业务应用和安全防护的需要。基于此,设计并实现了一种基于Spark的新型大数据匿名化系统,提供对Hadoop平台上多种数据格式的支持,并有效提高对大数据的匿名化处理效率。
<qq_28339273> 上传 | 大小：786kb

[spark] Spark下BP神经网络并行化算法研究

说明： BP算法(反向传播算法)以其良好的非线性逼近能力、泛化能力以及实用性成为了人工神经网络训练算法中应用最为广泛的算法。但同时使用BP算法又存在收敛速度较慢、易陷入局部极小值等问题。为了将BP算法用于大规模数据分类问题,采用MapReduce思想,将大数据集切分成若干小的数据集来并行加速处理,同时引入Bagging算法的思想来综合并行结果,提高分类的准确率。通过在各个节点上根据子数据集独立地训练各个BP神经网络,直至各网络收敛,再将各节点上的网络收集起来进行集成,形成最终的分类器。基于Spark平
<qq_28339273> 上传 | 大小：1mb