© 1999-2048 dssz.net 粤ICP备11031372号
[其它] DSC字数与地图减少实验室NYC DS-060319-源码
说明:MapReduce的字数统计-实验 介绍 现在,我们已经了解了Spark中的键映射和reduce运算符,并且还知道何时使用转换和动作运算符,我们可以回顾一下本节前面介绍的字数统计问题。 在本实验中,我们将在Spark环境中阅读一个文本语料库,执行字数统计,并尝试基本的NLP思想以更好地掌握MapReduce的性能。 目标 在本实验中,您将: 将map(func)转换应用于不同分区中RDD的所有元素上的给定函数 对RDD的所有元素应用地图变换 比较RDD中转换和动作之间的区别 使用collect<weixin_42097819> 上传 | 大小:1mb