5.4.2-1 编写Java程序在HDFS上创建文件

news/2024/11/20 21:09:45/

本次实战涉及使用Java操作Hadoop HDFS,包括创建文件、判断文件存在性及异常处理。通过手动添加依赖、启动HDFS服务,成功在HDFS上创建和检查文件。进一步探索了文件操作的最佳实践,如检查文件存在性以避免重复创建,以及处理HDFS安全模式下的异常情况。整个过程加深了对Hadoop文件系统操作的理解,并提高了解决实际问题的能力。
在这里插入图片描述


用Maven项目比用Java项目更方便,在pom.xml添加2个依赖即可
在这里插入图片描述

  • 项目对象模型文件 - pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0https://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>net.huawei</groupId><artifactId>Test</artifactId><version>1.0-SNAPSHOT</version><name>Test</name><dependencies><!--hadoop客户端--><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.3.4</version></dependency><!--单元测试框架--><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.13.2</version></dependency></dependencies></project>
  • 日志属性文件 - log4j.properties
    在这里插入图片描述
log4j.rootLogger=stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
java">package net.huawei.hdfs;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;import java.net.URI;/*** 功能:在HDFS上创建文件* 作者:华卫* 日期:2024年11月15日*/
public class CreateFileOnHDFS {@Testpublic void create1() throws Exception {// 创建配置对象Configuration conf = new Configuration();// 创建统一资源标识符String uri = "hdfs://master:9000";// 创建HDFS文件系统对象FileSystem fs = FileSystem.get(new URI(uri), conf);// 创建路径对象(指向文件)Path file = new Path(uri + "/ied02/hadoop.txt");// 基于路径对象创建文件boolean result = fs.createNewFile(file);// 判断文件是否创建成功if (result) {System.out.println("恭喜,文件[" + file + "]创建成功~");} else {System.out.println("遗憾,文件[" + file + "]创建失败~");}}@Testpublic void create2() throws Exception {// 创建配置对象Configuration conf = new Configuration();// 创建统一资源标识符String uri = "hdfs://master:9000";// 创建HDFS文件系统对象FileSystem fs = FileSystem.get(new URI(uri), conf);// 创建路径对象(指向文件)Path file = new Path(uri + "/ied02/hadoop.txt");// 判断文件是否存在if (fs.exists(file)) {System.out.println("文件[" + file + "]已经存在~");} else {try {// 基于路径对象创建文件boolean result = fs.createNewFile(file);// 判断文件是否创建成功if (result) {System.out.println("恭喜,文件[" + file + "]创建成功~");} else {System.out.println("遗憾,文件[" + file + "]创建失败~");}} catch (Exception e) {System.err.println("异常信息:" + e.getMessage());}}}
}
  • 删除文件,执行命令:hdfs dfs -rm /ied02/hadoop.txt
    在这里插入图片描述

  • 运行create1()方法,查看结果
    在这里插入图片描述

  • 此时,文件已经创建了,再次运行create1()方法,提示文件创建失败
    在这里插入图片描述

  • 运行create2()方法,提示文件已经存在
    在这里插入图片描述


http://www.ppmy.cn/news/1548577.html

相关文章

DAY120java审计第三方组件依赖库挖掘FastjsonShiroLog4jH2DB

组件漏洞判断插件 一、Tmall_demo-master&#xff08;fastjson&#xff09; 1、配置文件查找安装组件 1、JSON.parse(json) 2、JSON.parseObject 2、找可控的变量 3、利用组件漏洞 poc:propertyJson{"type":"java.net.Inet4Address","val":&q…

vue + axios config url 转码 空格转成 +(前端解决)

encodeURI 对一个完整的URI 进行编码&#xff0c;而encodeURIComponent对URI 的一个组件&#xff08;单个参数&#xff09;进行编码。 // 浏览器get请求 service.interceptors.request.use(config > { let url config.urlif (config.method get && config.params…

15分钟学 Go 实战项目六 :统计分析工具项目(30000字完整例子)

统计分析工具项目 1. 项目概述 功能模块说明难度数据收集CSV文件读取和解析★★☆☆☆数据分析基本统计和高级分析★★★☆☆可视化生成图表和报告★★★★☆导出功能支持多种格式导出★★☆☆☆Web界面交互式数据分析★★★★☆ 2. 项目架构 3. 核心代码实现 3.1 数据模型…

AI赋能电商:开启智慧零售新纪元

根据麦肯锡最新研究报告显示&#xff0c;到2025年&#xff0c;AI技术将为全球零售业带来4000-8000亿美元的价值增长。在中国&#xff0c;已有超过60%的电商平台开始应用AI技术优化运营流程。人工智能正在重塑电商行业的经营法则&#xff0c;带来前所未有的机遇与挑战。 一、智…

【FMC169】基于VITA57.1标准的4发4收射频子模块(基于ADRV9026)

产品概述 FMC169 是一款基于VITA57.1 标准规范&#xff0c;实现4 收4发的射频子模块&#xff0c;该板卡基于ADI的捷变收发器ADRV9026作为处理核心&#xff0c;射频工作范围为75MHz~6GHz频段&#xff0c;发射最大信号带宽450MHz&#xff0c;接收最大带宽200MHz&#xff0c;提供…

【MYSQL】什么是关系型数据库与非关系型数据库?

真正的让你快速理解什么是关系型数据库与非关系型数据库~ 主要是以查询语句&#xff0c;存储结构&#xff0c;拓展 性上的区别。 关系型数据库&#xff08;最经典就是mysql&#xff0c;oracle&#xff09;&#xff1a;它是支持SQL语言&#xff0c;并且关系型数据库大部分都支持…

时代变迁对传统机器人等方向课程的巨大撕裂

2020年之后&#xff0c;全面转型新质课程规划&#xff0c;传统课程规划全部转为经验。 农耕-代表性生产关系-封建分配制度主要生产力-人力工业-代表性生产关系-资本分配制度工业分为机械时代&#xff0c;电气时代&#xff0c;信息时代&#xff1b;主要生产力-人力转为人脑&…

Debezium-EmbeddedEngine

提示&#xff1a;一个嵌入式的Kafka Connect源连接器的工作机制 文章目录 前言一、控制流图二、代码分析 1.构造函数2.完成回调3.连接器回调4.RUN总结 前言 工作机制&#xff1a; * 独立运行&#xff1a;嵌入式连接器在应用程序进程中独立运行&#xff0c;不需要Kafka、Kafka C…