© 1999-2048 dssz.net 粤ICP备11031372号
[其它] HadoopvsSpark性能对比
说明:数据:自己产生的三维数据,分别围绕正方形的8个顶点{0,0,0},{0,10,0},{0,0,10},{0,10,10},{10,0,0},{10,0,10},{10,10,0},{10,10,10}读取HDFS上的block到内存,每个block转化为RDD,里面包含vector。然后对RDD进行map操作,抽取每个vector(point)对应的类号,输出(K,V)为(class,(Point,1)),组成新的RDD。然后再reduce之前,对每个新的RDD进行combine,在RDD内部算<weixin_38742951> 上传 | 大小:687kb