融通未来,“数”启精彩——TiDB助力金融出海线上直播
快出海  > 腾讯云  >  问题排查的最佳帮手 ——TKE 容器服务事件日志

问题排查的最佳帮手 ——TKE 容器服务事件日志

来源:腾讯云原生
作者:v神
时间:2021-10-13
腾讯云容器服务(Tencent Kubernetes Engine,TKE)是基于原生kubernetes提供以容器为核心的、高度可扩展的高性能容器管理服务,您可以在托管的云服务器实例集群上轻松运行应用程序。

pexels-photo-4065145.jpg

什么是TKE容器服务?

腾讯云容器服务(Tencent Kubernetes Engine,TKE)是基于原生kubernetes提供以容器为核心的、高度可扩展的高性能容器管理服务,您可以在托管的云服务器实例集群上轻松运行应用程序。同时腾讯云也提供弹性容器服务(Elastic Kubernetes Service,EKS)和边缘容器服务(Tencent Kubernetes Engine for Edge,TKE Edge),方便您按需选择。

TKE容器服务:https://cloud.tencent.com/product/tke

TKE容器服务事件日志大洞察

集群内的状况层出不穷,变化莫测,如节点状态异常,Pod重启等,如果无法第一时间感知状况,会错过最佳的问题处理时间,待问题扩大,影响到业务时才发现往往已经为时已晚。

而事件日志(Event)记录了全面的集群状态变更信息,不仅可以帮助用户第一时间发现问题,也是排查问题的最佳帮手。

什么是事件日志?

事件(Event)是Kubernetes中众多资源对象中的一员,通常用来记录集群内发生的状态变更,大到集群节点异常,小到Pod启动、调度成功等等。我们常用的kubectl describe命令就可以查看相关资源的事件信息。

事件日志字段说明

640.webp.jpg

·级别(Type):目前仅有“Normal”和“Warning”,但是如果需要,可以使用自定义类型。

·资源类型/对象(Involved Object):事件所涉及的对象,例如Pod,Deployment,Node等。

·事件源(Source):报告此事件的组件;如Scheduler、Kubelet等。

·内容(Reason):当前发生事件的简短描述,一般为枚举值,主要在程序内部使用。

·详细描述(Message):当前发生事件的详细描述信息。

·出现次数(Count):事件发生的次数。

如何使用事件日志去排查问题

日志服务CLS提供针对kubernetes事件日志的一站式服务,包含采集,存储,检索分析能力。用户仅需一键开启集群事件日志功能,即可获取开箱即用的事件日志可视化分析仪表盘。通过可视化的图表,用户可以轻松通过控制台解决大多数常见的运维问题。

什么是CLS日志服务?

日志服务(Cloud Log Service,CLS)是腾讯云提供的一站式日志服务平台,提供了从日志采集、日志存储到日志检索,图表分析、监控告警、日志投递等多项服务,协助用户通过日志来解决业务运维、日志运营、服务监控、日志审计等场景问题。

CLS日志服务:https://cloud.tencent.com/product/cls

场景1:一台Node节点出现异常,定位原因

进入TKE容器服务控制台,点击左侧菜单中【集群运维】>【事件检索】。在【事件检索】页面,点击【事件总览】,在过滤项中输入异常节点名称。

640.webp (1).jpg

查询结果显示,有一条`节点磁盘空间不足`的事件记录查询结果如下图:

640.webp (2).jpg

进一步查看异常事件趋势

640.webp (3).jpg

640.webp (4).jpg

可以发现,2020-11-25号开始,节点172.16.18.13由于磁盘空间不足导致节点异常,此后kubelet开始尝试驱逐节点上的pod以回收节点磁盘空间;

场景2:节点触发扩容了,用户需要对扩容过程进行回溯,以确定具体原因

开启了节点池「弹性伸缩」的集群,CA(cluster-autoscler)组件会根据负载状况自动对集群中节点数量进行增减。如果集群中的节点发生了自动扩(缩)容,用户可通过事件检索对整个扩(缩)容过程进行回溯。

在【事件检索】页面,点击【全局检索】,输入以下检索命令:

event.source.component:"cluster-autoscaler

在左侧隐藏字段中选择`event.reason`、`event.message`、`event.involvedObject.name`、`event.involvedObject.name`进行显示,将查询结果按照`日志时间`倒序排列,结果如下图所示:

640.webp (5).jpg

通过上图的事件流水,可以看到节点扩容操作在2020-11-25 20:35:45左右,分别由三个nginx Pod(nginx-5dbf784b68-tq8rd、nginx-5dbf784b68-fpvbx、nginx-5dbf784b68-v9jv5)触发,最终扩增了3个节点,后续的扩容由于达到节点池的最大节点数没有再次触发。

了解更多

容器服务TKE基于日志服务CLS为用户提供了开箱即用的事件日志持久化能力和事件仪表盘功能。在集群开启事件存储功能后,TKE将自动为集群配置各类事件总览大盘和异常事件的聚合检索分析仪表盘。

还支持用户自定义配置过滤项,同时内置CLS的事件全局检索,实现在容器服务控制台全面观测、查找、分析、定位问题的能力。

立即登录,阅读全文
版权说明

本文内容来自于腾讯云原生,本站不拥有所有权,不承担相关法律责任。文章内容系作者个人观点,不代表快出海对观点赞同或支持。如有侵权,请联系管理员(hj@kchuhai.com)删除!

相关文章
Web Function能力升级,原生支持WebSocket协议
Web Function能力升级,原生支持WebSocket协议
云函数Web Function能力推出后,对于原生框架的无改造直接部署,在性能和开发流程上,都受到了众多开发者的好评。在一期能力的基础上,Web Function现已支持WebSocket协议,实现客户端和函数运行的服务端间建立长连接。
April
4天前
天狮集团云函数实践:自定义业务逻辑实现跨境电商全球直播
天狮集团云函数实践:自定义业务逻辑实现跨境电商全球直播
业务覆盖全球190多个国家和地区,服务全球用户超过4000万,业务领域横跨生物技术、健康管理、酒店旅游、教育培训、金融投资......运营这样一家跨国集团的全球化业务,需要在全球部署多少IT管理中心?
刘传传
4天前
首例“微服务+国产分布式数据库”架构,TDSQL助力昆山农商行换“心”
首例“微服务+国产分布式数据库”架构,TDSQL助力昆山农商行换“心”
历经300多个日夜,2021年8月,基于国产企业级分布式数据库腾讯云TDSQL打造的昆山农商银行新一代核心系统成功投产上线。它采用“微服务应用+国产分布式数据库”架构,该架构在同类银行中尚属首次。
腾讯云数据库
4天前
腾讯云率先测试希捷银河ExosX20企业级硬盘
腾讯云率先测试希捷银河ExosX20企业级硬盘
希捷科技宣布,全球领先的专业云计算服务商腾讯云已率先将希捷银河ExosX20企业级硬盘引入数据中心,并进行了联合集成测试。
陶然
6天前
腾讯云:2020迪拜世博会正式开幕
腾讯云:2020迪拜世博会正式开幕
10月1日,延期一年的2020迪拜世博会正式开幕。中国馆“华夏之光”也如期亮相!
腾讯云
7天前
扫描关注获取更多 腾讯云 的相关信息
服务商推荐 更多 >
北京云联万维技术有限公司
脉时云
脉时云是领先的出海融合云服务商,是Google Cloud北亚区规模最大的Premier Partner和亚马逊云科技APN Advanced Partner,累计服务超过100家中国出海企业,核心团队来自于美团、滴滴、豌豆荚、中国电信等公司,肩负连接全球用户与中国应用的使命。
云服务
3YData
3YData
海内外ASA代投、ASO优化等服务
推广
F5 Networks
F5
出海无国界,云端新引擎 —— 云原生时代的全球智能应用安全交付专家
云服务
Sanuker Inc. Limited
Sanuker
Sanuker是一家专注为中国出海品牌打造对话式商务体验的服务商,我们2017年有幸开始成为Messenger的开发者合作伙伴,并在2019年成为WhatsApp全球商业方案的提供商,为各大品牌设计并开发售前,转换和售后的对话式商务体验。
推广数据服务
北京蓝色光标数字传媒科技有限公司
蓝瀚互动
专注于为出海企业提供全套价值链服务,包括海外市场洞察、品牌营销策略、创意设计、广告优化、 账户管理、全球KOL营销、粉丝页运营等一站式整合营销服务,满足出海广告主的多元化需求。
推广
杭州云片网络科技有限公司
云片
作为全球移动通讯系统协会GSMA会员单位,云片一直以来积极拓展全球通讯业务。目前云片短信业务覆盖全球217个国家和地区,与全球1000+运营商建立了合作。云片凭借创新解决方案和专业的客户服务,一直领跑行业。在国际服务方面,支持【国际短信】【国际彩信】【全球语音验证】【行为验证】【OTP】【一键登录】
云服务
扫码登录
打开扫一扫, 关注公众号后即可登录/注册
加载中
二维码已失效 请重试
刷新
账号登录/注册
小程序
公众号
商务合作
投稿采访
出海管家
专区推荐