php连接hdfs初步探索

news/2024/10/21 23:25:39/

一、phdfs拓展

结果:暂时舍弃

安装此拓展时,无法make成功,因为缺少hdfs.n文件。

换了其他版本的拓展包,并编译都没有找到此文件。

后搜到官网的相关资料,此hdfs.h的文件路径的地址是$HADOOP_HDFS_HOME/include/hdfs.h。

顿时对此拓展失去了好感觉,因为这意味着,我必须再PHP环境中再装一个hdfs。很不符合常规的目前的应用场景。

而且网上用此拓展人的并不多,暂时舍弃。

二、webhdfs php文件包

结果:容易产生权限问题

看了下webhdfs的源码,只是普通的抓包代码。

所以核心还是hadoop中,原来hadoop对hdfs提供的http的访问模式,只需要对hdfs_site.xml的配置中关于http的访问开启即可。

配置好hadoop后,用curl命令进行访问测试,并不顺利,容易受到权限的影响。

由于我对hadoop的了解较少,具体的权限分析,我还要再研究下

三、httpfs

结果:可用。

基本上公司用的httpfs(但却叫成了webhdfs),httpfs默认端口为14000,但webhdfs的默认端口为50070。

这两个模块有几乎相同的作用。

WebHDFS REST API

Apache Hadoop 2.4.1 - Hadoop Distributed File System-2.4.1 - WebHDFS REST API

资料显示:

webhdfs与httpfs的主要区别在于:webhdfs需要访问集群的所有节点,当读取某些数据时,它直接从该节点传输,而在httpfs中,单个节点的作用类似于“网关”,将是向客户机节点传输数据的单点。因此,在大型文件传输过程中,httpfs可能会被阻塞,但好处是我们正在最小化访问hdfs所需的占用空间。


http://www.ppmy.cn/news/1372515.html

相关文章

JWT身份验证

在实际项目中一般会使用jwt鉴权方式。 JWT知识点 jwt,全称json web token ,JSON Web令牌是一种开放的行业标准RFC 7519方法,用于在两方安全地表示声明。具体网上有许多文章介绍,这里做简单的使用。 1.数据结构 JSON Web Token…

Java面试题【必知必会】基础(2024)

近期一直在准备面试,所以为了巩固知识,也为了梳理,整理了一些java的基础面试题!同时也希望各位英雄和女侠能够补充!不胜荣幸!!! 1. Final 有什么用? final 的意思是最后…

能源管理师:薪资待遇、技能知识与职业发展路景全解析

能源管理师作为一种新兴职业,近年来受到了越来越多的关注。他们在能源领域发挥着重要的作用,帮助企业和组织优化能源使用、降低成本并实现可持续发展。本文将详细介绍能源管理师的薪资待遇、所需具备的技能知识以及职业发展路景。 一、薪资待遇 能源管…

第五篇:人工智能与机器学习技术VS创意创新(creative)--- 我为什么要翻译介绍美国人工智能科技巨头IAB公司?

【如无特殊说明,本文所有图片均来源于网络】 IAB平台,使命和功能 IAB成立于1996年,总部位于纽约市。 作为美国的人工智能科技巨头社会媒体和营销专业平台公司,互动广告局(IAB- the Interactive Advertising Bureau&…

Unreal Engine5记录 01安装

1.下载Epic Games 启动器 官网下载地址 传送门https://www.unrealengine.com/zh-CN 点击下载启动程序,完成之后选择指定的路径安装即可。 2.登录或注册一个账户 多种登录方式,选择一种登录即可。 3.找到虚幻引擎下载列表 选择想要的版本进行下载&…

js SheetJS 合并表格导出到同一个excel中

最近有个需求,我在一个页面显示了4个表格, 然后合并导出到excel文件中 四个表,四个sheet,一个excel文件 最后导出时这样: 实现: 1,页面有个导出的checkbox,勾选则导出,不勾选不处理 2,在一个函数中,集中处理四个表数据获取,并将结果返回出来 //获取数据后返回为…

【Logback】Logback 的配置文件

目录 一、初始化配置文件 1、logback 配置文件的初始化顺序 2、logback 内部状态信息 二、配置文件的结构 1、logger 元素 2、root 元素 3、appender 元素 三、配置文件中的变量引用 1、如何定义一个变量 2、为变量设置默认值 3、变量的嵌套 In symbols one observe…

[清爽快捷]一条命令解决国内访问github超时For Linux、MAC 、Windows

国内访问github经常超时,通常使用梯子是比较常见的做法,但是梯子收费不太符合互联网的精神。本文给出一条命令解决Ubuntu上git访问github超时的解决办法 方法 在下面选择对应平台的命令复制,打开自己平台的shell,粘贴并执行&…