hadoop ha(hadoop 启动ha错误 nice: /bin/hdfs: No such file or directory)

本文目录
- hadoop 启动ha错误 nice: /bin/hdfs: No such file or directory
- Hadoop 踩坑笔记 -no.3 HA集群框架 UnknownHost
- hadoop集群多数是主从模式
- Hadoop HA 主备手动切换
- 配了hadoop ha还需不需要second namenode
hadoop 启动ha错误 nice: /bin/hdfs: No such file or directory
在没弄ha时,可以直接启动,改成ha后启动就出了这个错,解决方法是修改~/.bashrc ,在里面添加export HADOOP_HOME=hadoop安装目录
就可以了
***隐藏网址***
Hadoop 踩坑笔记 -no.3 HA集群框架 UnknownHost
问题如标题,老规矩先复述一下HA框架的搭建步骤
再网上淘到了一篇非常详细的博客
***隐藏网址***
鄙人便是按照以上步骤填坑的,这篇文章的步骤粗略的分为:
1.hadoop的core-site.xml,hdfs-site.xml.....的文件配置
2.zkServer的配置
3.启动journode,zkServer,format namenode
4.启动hdfs以及yarn集群
5.检验hdfs以及yarn
前四步一切顺利,然后到了最后一步,向hdfs put的时候,报了unknownhost异常,找不到ns(我配置core-site.xml中的fs.defaultFS的字段为hdfs:\\ns\),哈?????为啥,怎么把我的命名空间当作域名来解析了,然后从网上各种百度解决方法,然而都是我已经想到的
1.检查hosts文件是否配置正确
2.检查hadoop的slave文件是否正常
3.将hdfs-site.xml的本机host ip改为0.0.0.0
反复检查这三项检查了俩小时,甚至还改了fs.defaultFs为其他字段,就这样尝试了n遍,直到三天后发现自己再hdfs-site.xml的失败尝试切换的代理ZKFC 的配置名写错了原本是dfs.client.failover.proxy.provider.ns,自己写成了dfs.client.failover.provider.ns,恍然大悟原来hadoop读取配置文件的时候没有读取到zkfc的配置以为只有单个namenode,而不是高可用的集群,所以把ns当作域名解析了。
hadoop集群多数是主从模式
是的。
由于Hadoop集群多数是主从节点的模式,如果集群中的namenode主节点挂掉,那么集群就会瘫痪,所以我们要改造成HA模式(HighAvaliable,高可用性)的集群,说白了就是设置一个备用的namenode节点,当线上使用的namenode挂掉后,会切换备用节点,让集群可以继续运行。
Hadoop集群可以定义为一种特殊类型的计算集群,旨在用于分布式计算环境中存储和分析大量非结构化数据。
Hadoop HA 主备手动切换
hdfs haadmin -failover --forcefence --forceactive nn2 nn1
在启用自动故障转移的集群上 --forcefence -- forceactive 参数不起作用
使用以下方法检查名称节点状态(假设 nn1 为 standby,nn2 为 active):
hdfs haadmin -getServiceState nn1
standby
hdfs haadmin -getServiceState nn2
active
于是我们人为制造故障,在 nn2 上查看 NameNode 进程
jps
kill -9
自动故障转移将会激活 nn1 节点,状态从 standby 转换为 active
配了hadoop ha还需不需要second namenode
SecondNamenode是对主Namenode的一个补充,它会周期的执行对HDFS元数据的检查点。
当前的设计仅仅允许每个HDFS只有单个SecondNamenode结点。
SecondNamenode是有一个后台的进程,会定期的被唤醒(唤醒的周期依赖相关配置)执行检查点任务,然后继续休眠。
它使用ClientProtocol协议与主Namenode通信。

更多文章:
java外包用的比较多技术(java后端程序员最常用的技术有哪些,重点技术有哪些)
2026年5月22日 18:30
clip converter(用ClipConverter下载的youku视频在电脑哪个文件夹)
2026年8月24日 21:15
chmod修改权限(ubuntu linux下使用 chmod 修改文件权限,命令后提示【缺少操作数】,求解决方法)
2025年8月3日 09:30
neighborhood在哪买(香港潮牌店铺推荐去香港买什么好)
2026年6月6日 23:00
richtextbox用法(怎样使用C#的RichTextBox控件)
2026年2月13日 20:45
js replace 正则表达式(求一个js正则表达式:替换html内容中除了标签外的特定字符为另外一个字符.)
2025年9月5日 03:00
rock什么意思中文意思(rock是什么意思 rock的中文翻译、读音、例句)
2026年9月6日 10:30
衣香丽影同档次的品牌(太平鸟,伊芙丽,衣香丽影,红袖三彩哪家好)
2026年8月15日 07:15
excel怎么用round保留一位小数(excel如何保留一位小数)
2025年12月21日 16:45
c语言数组元素求和(c语言求数组元素的总和!求助各位大佬!)
2025年9月7日 00:30













