记一次CDH集群升级事故的解决
本文转载自微信公众号「明哥的IT随笔」,作者IT明哥。转载本文请联系明哥的IT随笔公众号。 01问题现象 某日明哥接到求助,集群运维人员在通过 cloudera manager 的 upgrade cluster 选项 (见下图一),升级 cdh 集群时遇到了问题,卡在了 "Execute command Upgrade Hive Metastore Database Schema on记一 service Hive" 这一步。由于我们的应用系统是基于 Hive 的离线计算作业,hive升级不成功,应用应用无法启动,该问题亟待解决。 "Execute command Upgrade Hive Metastore Database Schema on service Hive" 这一步前的步骤是执行成功的,包括HDFS的升级: 02问题分析 查看cm页面上执行 "Execute command Upgrade次C Hive Metastore Database Schema on service Hive" 这一步时的 stdout 和 stderr 日志,其内容如下(页面日志没来得及截图,以下截图是当时复制出来的页面日志的内容): stdout.log: stderr.log: 查看hive metastore database 升级脚本的内容: 可见该升级脚本只是更改了 hive 的 mysql metastore db,更新了 hivDHe 库中 DBS 表的结构 (增加了一列 create_time);并更新了 cdh_version表的一条记录。 如此简单的 ddl 语句和 dml 语句会执行失败,很可能的原因是使用的数据库用户名和密码不对或没有更新权限。我们需要验证下使用的用户名和密码是否正确,以及是否有相应的权限。这些连接信息和用户名密码信息是在 cm 中 hive 配置页面指定的: 不幸的是,如上图可见,出于保护敏感信息的需要,cm 页面集群屏蔽了用户配置的 hive metastore db 的用户密码。 (事实上 stdout.log 日志中也告诉了我们连接信息和用户名信息,跟上述配置是一致的:Metastore connection URL 是 jdbc:mysql://node1:3306/hive?useUnicode=true&characterEncoding=UTF-8;Metastore connection U升级ser 是 root。) 所以接下来,我们的思路是,拿到 hive metastore db 需要使用的正确的用户名和密码,并在上述页面配置下,再次重试集群升级步骤。 03如何获取 hive metastore db 的用户名和密码呢? 如何获取 hive metastore db 的用户名和密码呢? 方法一:找集群管理员索取。 该方法是可行的,但由于hive metastore db 的用户名和密码,是在初次搭建集群是事故设置的,集群搭建完毕后正常使用过程中很少会使用到该用户名和密码,日常越久可能集群管理员也会忘记最初的用户名和密码。(集群多了也可能会搞混淆) 方法二:查看配置文件hive-site.xml 获取。 该方法在 hive 的早期版本是可行的,但在1.x 后(不记得具体的版本了。。。),同样出于保护敏感信息的原因,hive-site.xml 中也屏蔽了该信息,如下所示: 方法三:通过 curl 访问 cm 提供的的解特定 restful 接口获取集群配置信息,包括 hive metastore 用户名和密码。 该接口的地址和访问方式是:curl -u cm-user:cm-pwd "http://cm-host:7180/api/v19/cm/deployment",示例如下: 04问题解决 在通过上述方法三,拿到了 hive metastore db 的正确用户名和密码后,在 hive 配置页面配置完毕正确的用户名和密码记一后,再次尝试升级集群(通过在 cm 的 Running Commands 页面,resume 恢复 upgrade cluster 命令即可),集群升级正确执行,直至结束,如下所示: 05HDFS 集群升级后的收尾 做过 hdfs 集群升级的小伙伴,会留意到,通过以上步骤升级完毕集群后,hdfs 集群可以正常对外提供读写服务,但在 hdfs 的 web 页面会有个提示信息 "upgrade in progres次Cs. not yet finalized",如下所示: 事实上,这是 hdfs 有意为之的升级机制:hdfs 允许用户在集群升级完毕后,再次对集群进行充分的业务测试和验证,确保一切无误后,才来 finalize , 即 commit 整个 update;如果业务验证失败,可以回滚到升级前的版本。"Finalizing upgrade is separate process that should be invoked maDHnually after you confirm that data migration went well。" 我们执行命令 hdfs dfsadmin -finalizeUpgrade 进行升级后的 finalize: 再次查看hdfs web ui,提示信息不见了: 06key take-aways 汇总下知识点: 1. hive metastore db 的用户名和密码,可以通过以下命令获得: curl -u cm-user:集群cm-pwd "http://cm-host:7180/api/v19/cm/deployment" 2. hdfs 集群升级完毕后,可以执行 hdfs dfsadmin -finalizeUpgrade 最终确认升级,也可以回滚到之前版本。 3. 相关命令如下: hdfs dfsadmin -finalizeUpgrade hdfs dfsadmin -rollingUpgrade [ | |]] hdfs df升级sadmin -upgrade [query | finalize] hdfs namenode -upgrade | -rollback | rollingUpgrade hdfs datanode -rollback | -rollingupgrade rollback 4. 参考链接如下: https://hadoop.apache.org/docs/stable/hadoop-project-dist/ha事故doop-hdfs/HDFSCommands.html https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsRollingUpgrade.html
-
上一篇
-
下一篇
- 最近发表
-
- 多元开放 持续进化 新华三重磅发布多款智算新品
- 标签: 潜行创新 水下机器人 张洵 ROV
- 标签: AMD EPYC Instinct GPU 数据中心
- 标签: MiniMax 月之暗面 Kimi K2.5 M2.5
- Google重磅突破!AI Agent 实现“自我进化”,从错误中学习变身超级智能体
- AI认知革命:从Ilya的“超级智能对齐”到智能体“不完备定理”
- AI招聘独角兽Juicebox获3600万美元融资:4人团队打造千万ARR神话,红杉领投A轮
- 标签: 大族数控 PCB设备 港交所上市
- “无意”当流媒体巨头的亚马逊为何要花90亿美元买下米高梅?
- 亚马逊云科技陈晓建:云安全防护要像空气和水一样无处不在
- 随机阅读
-
- 标签: 腾讯元宝 山姆会员 欧盟研发
- 模型听人讲几句就能学得更好?斯坦福提出用语言解释辅助学习
- 全部取消订单 苹果中国官网乌龙1499元的商品仅售149元?
- OpenAI 秘密切换 ChatGPT 模型,以处理“情绪化”对话
- 云计算核心技术Docker教程:Docker创建集群
- 谷歌推出 Mixboard:让创意设计更轻松的 AI 工具
- MIT博士生、北大校友,利用自监督算法,解决了数据集中这一常见的“难题”
- 英伟达Jetson AGX Thor正式上市,重塑机器人计算平台格局
- 标签: Sunday Robotics Tesla Optimus Memo
- 通义实验室推出新一代智能体开发框架AgentScope 1.0
- Mistral AI推Studio平台:欧盟合规+全栈可观测,企业级AI应用迎来“工业化”新引擎
- 标签: 台积电 3纳米 英伟达 苹果
- 标签: 金山办公 WPS 超级会员 大会员
- 云计算开发:Python练习实例-学用circle画圆形
- 炒北瓜怎么做好吃
- 多任务实现SOTA,UBC谷歌等提出3D点云的无监督胶囊网络
- 标签: Luminar LiDAR 破产保护 激光传感器
- 腾讯云开始全球扩张:腾讯印尼首个数据中心投入使用
- Facebook研发争议黑科技:不解密也能“偷窥”用户加密聊天对话
- 阿里发布新一代Agentic Coding编程平台Qoder
- 搜索
-
- 友情链接