pyspark中文文档 spark上怎么讲读取的数据的某几行合并成一行,新手?

spark上怎么讲读取的数据的某几行合并成一行,新手?#RDD指定的行数据在spark中拼接,RDD合并为一行。Python实现frompyparkimportsparkcontextsc=spark

spark上怎么讲读取的数据的某几行合并成一行,新手?

#RDD指定的行数据在spark中拼接,RDD合并为一行。Python实现frompyparkimportsparkcontextsc=sparkcontext(“local”,“myapp”)行=sc.并行化([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12

pyspark用dataframe还是rdd好?

数据帧比RDD快。对于结构化数据,用dataframe编写的代码更简洁。

对于非结构化语音数据,建议使用RDD将其处理为结构化数据,然后转换为数据帧。