尚硅谷大数据技术Hadoop教程-笔记07【Hadoop-源码解析】

news/2024/10/29 2:40:12/

视频地址:尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优)

  1. 尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】
  2. 尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】
  3. 尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】
  4. 尚硅谷大数据技术Hadoop教程-笔记04【Hadoop-MapReduce】
  5. 尚硅谷大数据技术Hadoop教程-笔记05【Hadoop-Yarn】
  6. 尚硅谷大数据技术Hadoop教程-笔记06【Hadoop-生产调优手册】
  7. 尚硅谷大数据技术Hadoop教程-笔记07【Hadoop-源码解析】

目录

07_尚硅谷大数据技术之Hadoop(源码解析)V3.3

P171【171_尚硅谷_Hadoop_源码解析_RPC通信原理解析】13:44

P172【172_尚硅谷_Hadoop_源码解析_NameNode启动源码解析】21:37

P173【173_尚硅谷_Hadoop_源码解析_DataNode启动源码解析】22:10

P174【174_尚硅谷_Hadoop_源码解析_HDFS上传源码_整体介绍】07:39

P175【175_尚硅谷_Hadoop_源码解析_HDFS上传源码_create】10:13

P176【176_尚硅谷_Hadoop_源码解析_HDFS上传源码_write】23:02

P177【177_尚硅谷_Hadoop_源码解析_Yarn源码解析】21:21

P178【178_尚硅谷_Hadoop_源码解析_Hadoop源码编译】21:01


07_尚硅谷大数据技术之Hadoop(源码解析)V3.3

P171【171_尚硅谷_Hadoop_源码解析_RPC通信原理解析】13:44

第0章 RPC通信原理解析

HDFS、YARN、MapReduce三者关系:

package com.atguigu.rpc;public interface RPCProtocol {long versionID = 666;void mkdirs(String path);
}
package com.atguigu.rpc;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;import java.io.IOException;// 实现通信接口
public class NNServer implements RPCProtocol {public static void main(String[] args) throws IOException {//启动服务RPC.Server server = new RPC.Builder(new Configuration()).setBindAddress("localhost").setPort(8888).setProtocol(RPCProtocol.class).setInstance(new NNServer()).build();server.start();System.out.println("服务器器开始工作!");}@Overridepublic void mkdirs(String path) {System.out.println("服务器接收到了客户端请求:" + path);}
}
package com.atguigu.rpc;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;import java.io.IOException;
import java.net.InetSocketAddress;public class HDFSClient {public static void main(String[] args) throws IOException {// 获取客户端对象RPCProtocol client = RPC.getProxy(RPCProtocol.class, RPCProtocol.versionID, new InetSocketAddress("localhost", 8888),new Configuration());client.mkdirs("/input");//创建input文件夹System.out.println("客户端开始工作!");}
}

P172【172_尚硅谷_Hadoop_源码解析_NameNode启动源码解析】21:37

第1章 NameNode启动源码解析

P173【173_尚硅谷_Hadoop_源码解析_DataNode启动源码解析】22:10

第2章 DataNode启动源码解析

DataNode工作机制

DataNode启动源码解析

P174【174_尚硅谷_Hadoop_源码解析_HDFS上传源码_整体介绍】07:39

第3章 HDFS上传源码解析

 HDFS的写数据流程

HDFS上传源码解析

P175【175_尚硅谷_Hadoop_源码解析_HDFS上传源码_create】10:13

P176【176_尚硅谷_Hadoop_源码解析_HDFS上传源码_write】23:02

P177【177_尚硅谷_Hadoop_源码解析_Yarn源码解析】21:21

第4章 Yarn源码解析

Yarn工作机制

Yarn源码解析

P178【178_尚硅谷_Hadoop_源码解析_Hadoop源码编译】21:01

第5章 MapReduce源码解析

官网下载源码,Apache Hadoop

 

Windws环境编译源码比Linux环境编译源码麻烦,在Linux环境下编译源码速度较快!


http://www.ppmy.cn/news/37449.html

相关文章

HR都想招到的优秀00后程序员,都有这些特点...

拉勾招聘发布的《2022程序员群体职场洞察报告》显示,74%的00后程序员的薪酬已经过万,这一数据比应届生平均起薪高出50%,一些大厂(SP/SSPSpeicial Offer)所提供的薪酬则更加可观。 上图节选自拉勾招聘《2022程序员群体…

【Vue3源码Runtime-core篇】 第一章 初识Runtime

第一章 初识Runtime 前言 当设计一个框架的时候,我们有三种选择:纯运行时的、运行时 编译时的或纯编译时的。 我们先聊聊纯运行时的框架。 假设我们设计了一个框架,它提供 一个 Render 函数,用户可以为该函数提供一个树型结构的…

33、搜索旋转排序数组

难度&#xff1a;中等 整数数组 nums 按升序排列&#xff0c;数组中的值 互不相同 。 在传递给函数之前&#xff0c;nums 在预先未知的某个下标 k&#xff08;0 < k < nums.length&#xff09;上进行了 旋转&#xff0c;使数组变为 [nums[k], nums[k1], …, nums[n-1], n…

RocketMQ中核心概念及术语介绍

文章目录 角色ProducerConsumerPushConsumerPullConsumer概念术语Producer GroupConsumer GroupTopicTagMessage QueueOffsetConsumer Offset集群消费广播消费顺序消息普通顺序消息严格顺序消息RocketMQ中有很多独有的概念,其中包括一些术语和角色。 理清楚基本的概念是理解原…

前端重装系统需要安装什么

目录 1.安装nvm 2.安装git 3.安装yarn 4. 安装cnpm 5. 配置hbuilder 6. 配置vscode 1.安装nvm 1.1 下载 下载地址&#xff1a;Releases coreybutler/nvm-windows GitHub 如果下载慢&#xff0c;可以复制链接到迅雷下载 1.2 安装 在c盘下创建一个nvm文件夹并创建一个…

【蓝桥杯集训·每日一题】 AcWing 3996. 涂色

文章目录一、题目1、原题链接2、题目描述二、解题报告1、思路分析2、时间复杂度3、代码详解三、知识风暴区间DPUnique函数一、题目 1、原题链接 3996. 涂色 2、题目描述 有 n 个砖块排成一排&#xff0c;从左到右编号为 1∼n。 其中&#xff0c;第 i 个砖块的初始颜色为 ci。 …

一键部署自己的ChatGPT!

昨晚咱们群友推荐了一个叫做ChatGPT-Next-Web项目&#xff0c;可以一键免费部署你的私人 ChatGPT 网页应用。今早起来尝试了下&#xff0c;整体过程非常丝滑&#xff0c;觉得有必要推荐给大家。项目整体是基于Vercel平台开发的&#xff0c;只要提供api key&#xff0c;即可在1分…

xijs更新指南(v1.2.1)

xijs 是一款开箱即用的 js 业务工具库, 聚集于解决业务中遇到的常用函数逻辑问题, 帮助开发者更高效的开展业务开发.接下来就和大家一起分享一下v1.2.1 版本的更新内容以及后续的更新方向.1. 添加算法模块分类该模块主要由 WangLei802 贡献, 添加内容如下:添加冒泡排序算法及其…