Kubernetes组件问题排查的一些方法
Kubernetes的基础组件就像一栋房子的地基,它们的重要性不言而喻。作为Kubernetes集群的维护者,经常会遇到组件的问题,那平时是怎么去定位解决的呢? 这里简要分析一下我的排查思路。 通过集群的状态,找到故障的节点或者组件 分析组件的日志 使用pprof分析组件的具体性能 确定范围 Kubernetes的基础组件不多,而且部署也非常简单,所以在定义范围的时候还是很容易的,比如我们在使用kubectl get nodes的时候,如果某个节点的状态是NotReady,我们脑海中Ku是不是会出现两种可能? (1)节点的kubelet组件有问题 (2)节点的网络组件有问题 这样一来,大体方向已经确定了,然后就是做排除法了。 这里为何说是排除法?因为在解决问题的途中,我们通常会采用先假设再验证的方式进行,先把所以可能的因素列出来,然后一个一个的去验证去排除,直到解决问题。 分析日志 日志分析是故障排查最直接的方式,大部分问题都能从日志里体现出来,Kubernetes的组件日志查看方式通常有两种: 通过systemd启动的服务,使用journalctl -l -u xxxx 使be用静态pod启动的服务,使用kubectl logs -n kube-system $PODNAME --tail 100 当然,很多时候不仅仅是分析它本身的问题,我们还会关注周边的问题,比如基础设施的CPU、内存、IO等情况,这样进行综合考虑来找出问题。 性能分析 为什么把性能分析放到最后呢? 对于大部分人来说,并不擅长,也不喜欢分析组件的性能。第一是时间比较长,第二是要对各个性能指标有一定的了解,第三是学习成本比较大。 众所周知,Kubernetes的版本迭代比较快,基本一年会发2-3个rn版本,如此快的迭代速度,不排除一些版本中存在BUG,存在一些性能问题。所以在实在没招的情况下,可以尝试对其组件的性能进行分析。 Kubernetes是使用Golang开发,而Golang的pprof是性能分析的利器,提供交互式界面和UI图形化,比较直观,可以很方便的找出问题。除此之外,还可以使用go-torch将profile数据生成火焰图,这样会更直观。 Kubernetes的组件都可以使用pprof进行性能分析,界面在host:port/debug/pprof/。 pprof的et常用方式 使用交互式命令 查看堆栈调用信息 go tool pprof http://localhost:8001/debug/pprof/heap 查看 30 秒内的 CPU 信息 go tool pprof http://localhost:8001/debug/pprof/profile?seconds=30 查看 goroutine 阻塞 go tool pprof httesp://localhost:8001/debug/pprof/block 收集 5 秒内的执行路径 go tool pprof http://localhost:8001/debug/pprof/trace?seconds=5 互斥持有者的堆栈跟踪 go tool pprof http://localhost:8001/debug/pprof/mutex 通过UI界面 UI分析工具使用起来相对比较麻组件烦,我们需要先导出文件,然后再使用go tool工具起服务进行分析。 比如我们导出kube-scheduler的堆栈信息。 curl -sK -v http://localhost:10251/debug/pprof/heap > heap.out 然后使用go tool工具起一个服务,如下: go tool pprof -http=0.0.0.0:8989 heap.out&nb问题sp; 然后就可以在浏览器上看到具体的堆栈信息图了。 注意,这里需要在服务端安装graphviz组件,各种操作系统的安装方式见[3]。 UI界面主要的菜单以及其功能简要介绍如下: VIEW:查看模式 Top:从高到底排序查看 Graph:默认的模式,以关系图形式查看 Flame Graph:以火焰图形式查看 Peek:排序查看,展示的信息更多 Source:排序查看,带源码标注 Disassemble:现实所有总量 SAMPLE:为VIEW提供查看模式 alloc_objects:已分配的对象总量(排查不管是否已释放 alloc_space:已分配的内存总量(不管是否已释放) inuse_objects:已分配但尚未释放的对象数量 inuse_sapce:已分配但尚未释放的内存数量 REFINE:提供筛选能力 上面简单介绍了pprof的基本使用方法,下面就Kubernetes的各个组件进行简单的分析,这里只就CPU信息进 行获取以及展示。 注意:由于版本原因,有的版本默认开启了pprof,有的版本则没有,如果没有开启的,需要自行去开启,参数基本都是profiling: true,具体的一的信息可以到官网进行查看[4]。 分析kube-apiserver (1)使用kubectl proxy启动一个代理 kubectl proxy (2)另起一个终端,获取CPU信息 curl -sK -v http://localhost:8001/debug/pprof/profile >apiserver-cpu.out (3)使用go tool工具启动服务 go tool pprof&nbs些方p;-http=0.0.0.0:8989 apiserver-cpu.out (4)在浏览器上进行查看 分析kube-scheduler (1)获取CPU的信息 curl -sK -v http://localhost:10251/debug/pprof/profile >scheduler-cpu.out (2)使用go tool工具启动服务 go tool pprof&nbKusp;-http=0.0.0.0:8989 scheduler-cpu.out (3)在浏览器进行查看 分析kube-controller-manager (1)获取CPU的信息 curl -sK -v http://localhost:10252/debug/pprof/profile >controller-cpu.out (2)使用go tool工具启动服务 go tool&nbsbep;pprof -http=0.0.0.0:8989 controller-cpu.out (3)在浏览器进行查看 分析kubelet (1)使用kubectl proxy启动一个代理 kubectl proxy (2)另起一个终端,获取CPU信息 curl -sK -v http://127.0.0.1:8001/api/v1/nodes/k8s-node04-138/proxy/debug/pprornf/profile >kubelet-cpu.out (3)使用go tool工具启动服务 go tool pprof -http=0.0.0.0:8989 kubelet-cpu.out (4)在浏览器上进行查看 能够抓到具体的性能数据才是第一步,后续的具体分析才会帮助我们找到问题。 文档 [1] https://github.com/google/pprof [2] https://github.com/ubeter-archive/go-torch [3] http://www.graphviz.org/download/#linux [4] https://kubernetes.io/zh/docs/reference/command-line-tools-reference/kube-apiserver/
- 最近发表
-
- 谷歌宣布搜索整合Google Assistant翻译模式 推出全新模型LaMDA
- 标签: 苹果 威马汽车 赛力斯 极氪
- 韩国计划未来3年向AI数据及网络投资20万亿韩元 并给予其他支持
- 阿里版GPT“通义千问”官宣邀测 阿里已申请多个“通义”商标
- 前 Stability AI CEO:AI 革命将让人类智力价值归零,未来 1000 天面临巨变
- Facebook首席营收官费舍尔宣布离职
- 标签: 大众汽车 斯柯达 西雅特 电动化转型
- 标签: Clawdbot Moltbot 腾讯云Lighthouse AI智能体
- 标签: 英伟达 VeraRubin NVL72 Groq3LPX gtc2026
- 人工智能来袭,独居老人养老不再难,养老进入科技时代
- 随机阅读
-
- 标签: 京东外卖 七鲜小厨 外卖市场份额 餐饮生态
- 预计2024年中国云计算市场规模将达到1,000亿美元
- 标签: 播客行业
- 标签: 云知声 U2-ASR2.5 山海·知音 方言ASR
- 彻底解决 Gcr、Quay、DockerHub 镜像下载难题!
- 标签: 英伟达 DLSS5 黄仁勋 GTC2026 标签
- 北京大模型备案量全国占比近三成, 225 款通过网信办审核,持续领跑AI产业高地
- 标签: 智元机器人 临界点 熊坤 灵巧手
- Meta 发布代码世界模型 CWM:具备沙箱推演能力的32B AI
- 标签: 99 滴滴 COP30 绿色出行
- 标签: 千里科技 千里智驾1.0 千里浩瀚G-ASD ASC100
- 第二届中国IDC行业Discovery大会将于4月21日召开
- 阿里通义推出 Qwen3-ASR-Toolkit,实现音视频转录新突破
- AI 技术简化动漫制作流程,ToonComposer实现自动上色和生成动画
- 标签: 富途控股 CSRC 李华 证券法
- 标签: 京东集团 京东零售 2026财年Q1 财报
- 标签: 京东家政 西南培训基地 养老护理 AI助教
- 谷歌Gemini能耗大揭秘!单次回答仅耗微波炉一秒电量,AI绿色革命悄然开启
- 标签: 擎羽科技 彭锐 柔性机器人 仿生机器人
- 标签: 王者荣耀 和平精英 明日方舟:终末地 原神
- 搜索
-
- 友情链接