© 1999-2048 dssz.net 粤ICP备11031372号
[其它] 基于机器学习的Spark构形参数调整新方法
说明:Apache Spark是一个开放源代码的分布式数据处理平台,可以使用分布式内存抽象来高效处理大量数据。 随着Apache Spark的应用越来越广泛,暴露了一些问题。 性能问题是最重要的方面之一。 Apache Spark具有180多个配置参数,用户可以根据自己的特定应用程序对其进行调整,以优化性能。 当前,这些参数是通过反复试验手动调整的,由于参数空间大以及参数之间的复杂交互作用,因此无效。 为了使Spark的参数调整过程更加有效,提出了一种基于机器学习的Spark配置调整方法,该方法由二进<weixin_38499349> 上传 | 大小:291kb