MapReduce远程调试

devtools/2025/2/22 23:00:36/

个人博客地址:MapReduce远程调试 | 一张假钞的真实世界

MR的远程调试分为两个方面:

  • MapReduce Task远程调试
  • AM(Application Master)远程调试

MapReduce Task远程调试

Map Task远程调试

修改mapred-site.xml中的配置项:

  • mapreduce.map.java.opts:Map Task JVM参数设置。此处设置为:-Xdebug -Xrunjdwp:transport=dt_socket,address=9091,server=y,suspend=y。
  • mapreduce.map.maxattempts:Map Task失败重试的最大次数。此处设置为1。
  • mapreduce.task.timeout:一个Task既没有读写数据也没有状态变化可持续的毫秒数。默认为600000毫秒,设置为0禁用超时。远程调试时通常需要持续的时间比较久,所以此处设置为0。

Reduce Task远程调试

修改mapred-site.xml中的配置项:

  • mapreduce.reduce.java.opts:Map Task JVM参数设置。此处设置为:-Xdebug -Xrunjdwp:transport=dt_socket,address=9091,server=y,suspend=y。
  • mapreduce.reduce.maxattempts:Map Task失败重试的最大次数。此处设置为1。
  • mapreduce.task.timeout:一个Task既没有读写数据也没有状态变化可持续的毫秒数。默认为600000毫秒,设置为0禁用超时。远程调试时通常需要持续的时间比较久,所以此处设置为0。

virtual memory错误

分为两种:

  • AM管理进程virtual memory beyond错误
  • Task Container virtual memory beyond错误

AM

错误信息如下:

21/08/09 16:38:37 INFO mapreduce.Job: Job job_1593052953461_29983110 failed with state FAILED due to: Application application_1593052953461_29983110 failed 2 times due to AM Container for appattempt_1593052953461_29983110_000002 exited with  exitCode: -103
For more detailed output, check application tracking page:http://ycluster-resourcemanager1:50030/cluster/app/application_1593052953461_29983110Then, click on links to 

http://www.ppmy.cn/devtools/161047.html

相关文章

halcon 条形码、二维码识别、opencv识别

一、条形码 函数介绍 create_bar_code_model * 1.创建条码读取器的模板 * 参数一:通用参数的名称,针对条形码模型进行调整。默认值为空 * 参数二:针对条形码模型进行调整 * 参数三:条形码模型的句柄。 create_bar_code_model (…

flink使用demo

1、添加不同数据源 package com.baidu.keyue.deepsight.memory.test;import com.baidu.keyue.deepsight.memory.WordCount; import com.baidu.keyue.deepsight.memory.WordCountData; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.…

3. MySQL 用户与权限管理,角色管理(详细说明操作配置)

3. MySQL 用户与权限管理,角色管理(详细说明操作配置) 文章目录 3. MySQL 用户与权限管理,角色管理(详细说明操作配置)1.用户管理1.1 指定用户登录MySQL服务器1.2 创建用户1.3 修改用户1.4 删除用户1.5 设置“当前”用户密码1.6 修改其它用户密码 2. MyS…

网络安全-js安全知识点与XSS常用payloads

简介 JavaScript 是一种轻量级的编程语言&#xff0c;定义了HTML的行为。它与Java的关系类似周杰和周杰伦的关系&#xff08;即没有关系&#xff09;。 用法 HTML 中的脚本必须位于 <script> 与 </script> 标签之间。 脚本可被放置在 HTML 页面的 <body>…

HTML之JavaScript Form表单事件

HTML之JavaScript Form表单事件 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title…

Selenium实战案例2:东方财富网股吧评论爬取

上一篇文章&#xff0c;我们使用Selenium完成了网页内文件的自动下载,本文我们将使用Selenium来爬取东方财富网股吧内笔记的评论数据。 网页内容分析 网页内容的分析是web自动化中的关键一步。通过分析网页结构&#xff0c;我们可以确定需要抓取的数据位置以及操作元素的方式。…

unity学习49:寻路网格链接 offMeshLinks, 以及传送门效果

目录 1 网格链接 offMeshLinks 功能入口 1.1 unity 2022之前 1.2 unity 2022之后 2 网格链接 offMeshLinks 功能设置 3 点击 offMeshLinks 功能里的bake 3.1 unity 2022之前 3.2 unity 2022之后 3.3 实测link 3.4 跳跃距离增大&#xff0c;可以实现轻功类的效果 4 …

C++STL容器之list

1.介绍 list是标准模版库&#xff08;STL&#xff09;提供的一个双向链表容器。它允许在常数时间内进行插入或删除操作&#xff0c;但不支持随机访问。&#xff08;即不能通过下边直接访问元素&#xff09;。list是一个序列容器&#xff0c;适合需要频繁插入和删除操作的场景。…