使用spark/scala从HDFS目录获取所有csv文件名

Posted on by admin

谁能指导我如何才能只从我的HDFS目录使用scala的.csv文件。我正在尝试从我的hdfs位置获取所有csv文件名，并编写以下代码。

    var Fsys1 = FileSystem.get(sparksession.sparkContext.hadoopConfiguration)
    var FileNames = Fsys1 .listStatus(new  Path("hdfspath").filter(_.isFile).map(_.getPath.getName).toList

它给了我所有的文件名，但我只想获取.csv文件。

转载请注明出处:http://www.intrusion-fire.net/article/20230526/2470265.html