2023大数据面试真题(持续更新)

news/2024/11/29 2:35:59/

一.Hadoop

1.hdfs写流程

2.hdfs读流程

3.hdfs的体系结构

4.一个datanode 宕机,怎么一个流程恢复

5.hadoop 的 namenode 宕机,怎么解决

6.namenode对元数据的管理

7.元数据的checkpoint

8.yarn资源调度流程 

9.hadoop中combiner和partition的作用

10.用mapreduce怎么处理数据倾斜问题?

11.shuffle 阶段,你怎么理解的

12.Mapreduce 的 map 数量 和 reduce 数量是由什么决定的 ,怎么配置

13.MapReduce优化经验

14.分别举例什么情况要使用 combiner,什么情况不使用?

15.MR运行流程解析

16.简单描述一下HDFS的系统架构,怎么保证数据安全?

17.在通过客户端向hdfs中写数据的时候,如果某一台机器宕机了,会怎么处理

18.Hadoop优化有哪些方面

19.大量数据求topN(写出mapreduce的实现思路)

20.列出正常工作的hadoop集群中hadoop都分别启动哪些进程以及他们的作用

21.Hadoop总jo


http://www.ppmy.cn/news/296308.html

相关文章

上海大数据技术汇(浦东爱酷空间)

由创略科技赞助的大数据技术汇第二场线下公益技术交流开始报名啦: https://www.slidestalk.com/m/4 这次示说网邀请了 Spark 核心贡献者,前databricks工程师,PySpark和Spark Tungsten 1/2项目的核心作者,讲存储计算分离原则实践和思考&#x…

大数据资源

【不要错过文末彩蛋】 from :http://blog.csdn.net/GitChat/article/details/78341484(感谢原作者) 申明: 本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学习路径,不适用于大数据工程师的进阶学习&#x…

上海联通大数据服务再突破

大数据是运营商的核心战略资产,正成为上海联通数字化转型的核心、创新型收入的来源、重构生态圈的基石 日前,由上海市信息投资股份有限公司、中国联合网络通信集团有限公司(简称“中国联通”)、中国电子信息产业集团有限公司等9家机构联合发起成立的上海…

大数据时代“新装”

大数据时代与“皇帝的新装” 风口:大数据时代的到来,大数据的4V特点 [Volume数据量、Variety形式多、Velocity速度快、Veracity真实性)主角:皇帝并不关心数据业务也不关注数据技术,只是想蹭“大数据”的时髦&#xff…

电力物联网大数据平台架构及应用

随着物联网、互联网+时代的到来,尤其是泛在电力物联网建设的推进,电网数据也呈现出海量、多样性等趋势,挖掘电网数据价值,助力电网服务水平的提升,拓展电网数据的创新应用,成为国网公司的核心引擎及新增长极。在介绍泛在电力物联网的基础上,阐述了电网数据的特征,并提出…

大数据看春运

从大数据看春运:中国速度助力春节回家路 “过年回家”对于中国人来说有着极为特殊的感情,中国春运也被誉为“全球最大规模年度人口迁徙”。2019年春运已从1月21日开始,到3月1日结束。据中国铁路总公司消息,1月31日,春…

大数据与云计算课后习题

参考: https://blog.csdn.net/weixin_44986776/article/details/114855025 https://www.pianshen.com/article/33741007662/ 以及古老师ppt 第一章 请举例说明结构化数据、半结构化数据、非结构化数据的区别。 结构化数据指的是数据在一个记录文件里面以固定格式存在…

盘点:全球12个大数据公司

本文整理了当今世界上在大数据领域最具话语权的企业,特别是活跃在中国市场上的企业,它们有的是计算机或者互联网领域的巨头,有的是刚刚创办不久的初创企业。但它们有一个共同点,那就是它们都看到了大数据带来的大机会,…