ZBLOG

2023-06-05 23:09:27,510 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032 2023-06-05 23:09:28,848 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface ...

根据错误信息,可以看到在执行MapReduce作业时出现了以下错误:

  1. “Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster”的错误。

  2. “Container exited with a non-zero exit code 1”的错误。

  3. 提示在mapred-site.xml文件中缺少配置项yarn.app.mapreduce.am.env、mapreduce.map.env和mapreduce.reduce.env。

这些错误可能是由于Hadoop环境配置不正确或者文件系统权限问题导致的。要解决这些问题,可以尝试以下步骤:

  1. 检查hadoop-mapreduce-client-app.jar是否存在,并确保路径正确。

  2. 确认所有节点上的Hadoop环境变量配置都正确。

  3. 检查所有节点上与该MapReduce作业相关的HDFS目录和文件系统权限是否正确设置,例如/tmp/hadoop-yarn/staging/test/.staging/job_1665143920387_0005等目录或文件。

  4. 检查mapred-site.xml文件中是否包含yarn.app.mapreduce.am.env、mapreduce.map.env和mapreduce.reduce.env三个配置项,并确保它们的值都正确设置为Hadoop分发目录的全路径。

本站部分文章来源于网络,版权归原作者所有,如有侵权请联系站长删除。
转载请注明出处:https://golang.0voice.com/?id=4516

分享:
扫描分享到社交APP
上一篇
下一篇
发表列表
游客 游客
此处应有掌声~
评论列表

还没有评论,快来说点什么吧~

联系我们

在线咨询: 点击这里给我发消息

微信号:3007537140

上班时间: 10:30-22:30

关注我们
x

注册

已经有帐号?