spark十小时入门(零基础入门SparkflatMap操作)
spark十小时入门(零基础入门SparkflatMap操作)flatMap跟Map操作一样非常简单,并且使用非常频繁。都是转换操作,Map是一转一,flatMap则是一转多。
市面上大多都是Scala的教程,这里专门介绍如何使用Java编写相关Spark程序。
什么是flatMap操作RDD 的flatMap操作跟Map操作类似,都是把RDD中的每个元素进行转换,flatMap操作提供了每个元素转换成多个元素的功能。如图所示:
flatMap操作简单例子如图,把 rdd 每个元素根据逗号切分成多个元素。
flatMap跟Map的区别。他们的相同点都是对RDD中的每个元素进行转换。不同点在于Map操作只能一个元素转换成另一个元素,而flatMap能把一个元素转换成多个元素。
总结flatMap跟Map操作一样非常简单,并且使用非常频繁。都是转换操作,Map是一转一,flatMap则是一转多。