快捷搜索:  汽车  科技

spark十小时入门(零基础入门SparkflatMap操作)

spark十小时入门(零基础入门SparkflatMap操作)flatMap跟Map操作一样非常简单,并且使用非常频繁。都是转换操作,Map是一转一,flatMap则是一转多。

市面上大多都是Scala的教程,这里专门介绍如何使用Java编写相关Spark程序。

什么是flatMap操作

RDD 的flatMap操作跟Map操作类似,都是把RDD中的每个元素进行转换,flatMap操作提供了每个元素转换成多个元素的功能。如图所示:

spark十小时入门(零基础入门SparkflatMap操作)(1)

flatMap操作简单例子

如图,把 rdd 每个元素根据逗号切分成多个元素。

spark十小时入门(零基础入门SparkflatMap操作)(2)

flatMap跟Map的区别。

他们的相同点都是对RDD中的每个元素进行转换。不同点在于Map操作只能一个元素转换成另一个元素,而flatMap能把一个元素转换成多个元素。

总结

flatMap跟Map操作一样非常简单,并且使用非常频繁。都是转换操作,Map是一转一,flatMap则是一转多。

猜您喜欢: