上传文件到HDFS

ops/2025/3/19 0:18:28/

1.创建文件夹

hdfs -dfs -mkdir -p /opt/mydoc

2.查看创建的文件夹

hdfs -dfs -ls /opt

注意改文件夹是创建在hdfs中的,不是本地,查看本地/opt,并没有该文件夹。

3.上传文件

hdfs dfs -put -f file:///usr/local/testspark.txt hdfs://master:9000/opt/mydoc

4.查看上传的文件

hdfs dfs -ls /opt/mydoc

也可以在浏览器中查看

5.遇到的问题

mkdir: ‘/opt/mydoc‘: Input/output error 

应该是hdfs配置的问题,一开始在安装spark环境时没有配置hadoop相关文件,参考Spark Standalone模式部署-CSDN博客第三章,安装配置好hadoop并启动,再次执行上述命令时,成功。


http://www.ppmy.cn/ops/9509.html

相关文章

用Bash变量进行sed替换

问题: 我试图在一个 Bash 脚本中使用 sed 改变文本文件中的值: sed s/draw($old_num;n_)/draw($new_num;n_)/g file.txt > tmp这行代码将在 for 循环中。为什么它不起作用? 回答: 当使用 Bash 变量进行 sed 替换时&#xff…

Vue2+ElementUI的el-table实现新增数据行与删除的功能

Vue2ElementUI的el-table实现新增数据行与删除的功能 文章目录 Vue2ElementUI的el-table实现新增数据行与删除的功能1. 代码2. 效果 1. 代码 TableIndex.vue如下 <template><div><div><el-button click"add" class"filter-item" pl…

SpringCloud系列(9)--将服务消费者Consumer注册进Eureka Server

前言&#xff1a;上一章节我们介绍了如何将服务提供者注册进Eureka服务里&#xff0c;本章节则介绍如何将服务消费者Consumer注册进Eureka服务里 Eureka架构原理图 1、修改consumer-order80子模块的pom.xml文件&#xff0c;引入Eureka Clinet的依赖&#xff0c;然后reolad一下&…

基于element-ui的树表排序问题

前端代码 import Treeselect from "riophae/vue-treeselect"; import "riophae/vue-treeselect/dist/vue-treeselect.css";export default {name: "Task",components: {Treeselect}, <el-table v-loading"loading" :data"task…

一文读懂链游!探索链游的前世今生,区块链与游戏结合的新兴趋势

区块链技术的崛起给游戏行业带来了前所未有的变革&#xff0c;而链游&#xff08;Blockchain Games&#xff09;正是这一变革的产物。本文将带您一览链游的前世今生&#xff0c;探索区块链与游戏结合的新兴趋势。 1. 链游的起源 链游&#xff0c;顾名思义&#xff0c;是指利用…

SpringBoot 动态加载 Jar 包:实现灵活的动态配置方案

引言 简介动态加载 Jar 包的需求背景 在当今快速发展的软件开发环境中&#xff0c;灵活性和可扩展性已成为了开发者们日常工作的关键词。特别是在微服务架构、云计算和DevOps等现代技术背景下&#xff0c;软件的配置和功能经常需要进行动态更新和修改。这就带来了对动态加载J…

模块化以及生成

导入对象 >> pip install mock >> pip install pytest-mock 下面对coverage命令参数进行简单介绍。 coverage命令共有10种参数形式&#xff0c;分别是&#xff1a; run&#xff1a;运行一个Python程序并收集运行数据&#xff1b;report&#xff1a;生成报告&#x…

【面经八股】搜广推方向:面试记录(十二)

【面经&八股】搜广推方向:面试记录(十二) 文章目录 【面经&八股】搜广推方向:面试记录(十二)1. 自我介绍2. 实习经历问答4. 编程题5. 反问6. 积累最近面了mt和alimm,一些核心部门岗位要求确实很高, 但是也有一方面是自己的简历写的太多了,然而有些项目知识洒洒…