spark读取hdfs路径下的文件 如何将hdfs里某一目录下的所有文件的文件名读取出来?
如何将hdfs里某一目录下的所有文件的文件名读取出来?默认情况下,文件是从HDFS读取的,也可以指定HDFSsc.textFile文件(“路径”)。在路径之前添加HDFS://,意味着从HDFS文件系
如何将hdfs里某一目录下的所有文件的文件名读取出来?
默认情况下,文件是从HDFS读取的,也可以指定HDFSsc.textFile文件(“路径”)。在路径之前添加HDFS://,意味着从HDFS文件系统读取本地文件sc.textFile文件(“路径”)。在路径之前添加file://,意味着从本地文件系统读取,例如file:///home/user/spark/自述文件.md