HDFS编程实践-从HDFS中下载指定文件到本地

news/2025/2/21 9:27:40/

前言：Hadoop采用java语言开发，提供了Java Api与HDFS进行交互

先要把hadoop的jar包导入到idea中去

为了能编写一个与hdfs交互的java应用程序，一般需要向java工程中添加以下jar包

1）/usr/local/hadoop/share/hadoop/common目录下的所有jar包

2）/usr/local/hadoop/share/hadoop/common/lib下的所有jar包

3）/usr/local/hadoop/share/hadoop/hdfs目录下的所有jar包

4）/usr/local/hadoop/share/hadoop/hdfs/lib中的所有jar包

1、先从本地上传个文件到HDFS中去

命令

hdfs dfs -cp -f file:///usr/local/hadoop/a b

2、在idea中创建项目

HDFSAPI.java


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;import java.io.File;
import java.io.IOException;//从HDFS中下载指定文件，如果本地文件与要下在文件名相同，则自动对下载的文件重命名
public class HDFSAPI {public static void copyToLocal(Configuration conf , String remoteFilePath, String localFilePath)throws IOException{FileSystem fs = FileSystem.get(conf);Path remotePath = new Path(remoteFilePath);File f = new File(localFilePath);//如果文件名存在，自动重命名（在文件后面加上_0,_1if (f.exists()){System.out.println(localFilePath+"已存在!");Integer i = 0;while (true){f=new File(localFilePath+"_"+i.toString());if (!f.exists()){localFilePath=localFilePath+"_"+i.toString();}i++;System.out.println("将文件重命名"+localFilePath);break;}}//下载到本地Path localPath=new Path(localFilePath);fs.copyToLocalFile(remotePath,localPath);fs.close();}}

Main.java

import org.apache.hadoop.conf.Configuration;public class Main{public static void main(String[] args) {Configuration configuration = new Configuration();configuration.set("fs.default.name","hdfs://localhost:9000");//本地路径String localFilePath="/home/hadoop/text.txt";//hdfs路径String remoteFilePath="/user/hadoop/b";try {HDFSAPI.copyToLocal(configuration,remoteFilePath,localFilePath);System.out.println("下载完成!");}catch (Exception e){e.printStackTrace();}}
}

3、将该项目打包成jar包

File->Project Structure