文件名称:
火花混洗过程的一种新的压缩算法决策方法
开发工具:
文件大小: 383kb
下载次数: 0
上传时间: 2021-03-11
详细说明：随着Spark大数据平台的广泛应用，暴露了实际应用中的一些问题，其中主要问题之一就是性能优化。 Spark的Shuffle模块是Spark的核心模块之一，也是其他一些分布式大数据计算框架的重要模块。 Shuffle模块的设计是直接决定大数据计算框架性能的关键因素。 Shuffle流程的主要优化参数涉及CPU利用率，I / O识字率，网络传输率，而这些因素之一可能是应用程序执行过程中的瓶颈。 网络数据传输时间消耗，I / O读写时间以及CPU利用率与数据处理的大小密切相关。 因此，Spark提供了压缩配置选项和不同的压缩算法供用户选择。 不同的压缩算法对压缩率和压缩率的影响不同，但是即使所有用户运行不同的应用程序，也通常由所有用户选择默认配置，因此无法实现最佳配置。 为了实现Shuffle流程压缩算法的最优配置，本文提出了一种Spark Shuffle流程的成本优化模型，使用户能够在应用程序执行之前获得最佳的压缩配置。 实验结果表明，压缩配置的预测模型具有58.3％的精度，所提出的成本优化模型可以将性能提高48.9％。
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
