2023.11.27 滴滴P0级故障或为k8s升级造成

大家好，我是不才陈某~11 月 27 日晚上 10 点左右截止 2023 年 11 月 28 日中午 12 点期间，DD发生了长达12小时的p0级bug，造成的影响大家通过各种平台或者亲身经历如何我就不多说了，单说对企业造成的损失超千万单和超4个亿的交易额。我只想说不愧是大企业，这也太狠了简单整理下崩溃原因DD自己在微博上说的是底层系统软件发生故障，身为底层开发的我对此还是挺感兴趣的，所以简单吃了...

替换升级方案不用说了，一般有一定规模的公司都是采用这种方案；DD采用的这种成本相对较低原地升级方式本质上也没有太大问题，但是风险系数相对比较高。感觉DD肯定是在很多个集群这样干过了，成本比较低加上侥幸没有出现任何问题，所以这种升级方式就一直沿用下来。看之前DD内部的实践已经升级到1.20，根据这次出现问题的修复时长，合理推断是不小心对K8S master做了降级，并且降级了多个版本，然后导致ETC...

相较于一些网友戏谑的“滴滴减‘猿’增效14%员工导致系统崩溃”，网传的“K8S版本升级错误，控制节点挂了，SRE工程师花了三个小时都未能解决”可能是滴滴系统大规模长时间故障的主要原因。根据滴滴最近六个季度公开的收入与费用数据显示，如果以70-80万的研发人均薪酬成本为基准，2023年滴滴研发人员的减少约为1200-1400人。11月27日晚间，滴滴因系统故障导致App服务异常登上热搜，不仅无法显示定位、无法打车，有司机的后台还显示收入超690亿。

2023 年 11 月 27 日晚间，滴滴因系统故障导致 App 服务异常，不显示定位且无法打车。11 月 27 日晚，滴滴出行进行了回复：非常抱歉，由于系统故障。2023 年 11 月 28 日早间，滴滴出行消息称，网约车等服务已恢复，骑车等在陆续修复中。11 月 28 日，在滴滴发出公告的同时，记者在上海、深圳等地使用滴滴呼叫网约车，发现网约车功能并未恢复使用，网络加载异常，仍无法打车。11 ...

目前我遇到的大规模集群，基本上都是像dd 这样选择晚上的窗口期升级的，这点倒是没什么可说的，但是很少有直接原地升级的，基本上都是有备份升级的，流量也不会直接全部涌入升级后的集群的，要经过逐步验证才会切换到新集群的，原地升级我只能说是艺高人胆大了。但是当企业剩下的大部分都是ppt高手，真正干活的人黯然退场。从dd 的技术博文上能猜出来，原地升级的方案肯定是经过他们内部验证了，最起码短期内是没出问题，才敢拿到生产集群上实践，但是很抱歉生产集群的扛风险能力还是太小了，所以还是建议老老实实选择替换升级的方案吧。

过去几年，以 docker、kubernetes 为代表的容器技术已发展为一项通用技术，BAT、滴滴、京东、头条等大厂，都争相把容器和 k8s 项目作为技术重心，试图“放长线钓大鱼”。就说阿里吧，目前基本所有业务都跑在云上，其中有一半已迁移到自己定制 kubernetes 集群上。据说，今年计划完成 100% 基于 k8s 集群的业务部署。而服务网格这块儿，在阿里的一些部门（比如蚂蚁金服），已经有线上业务在用了。这充分说明了容器在当今软件研发领域的地位。所以，

2023年11月27日晚至2023年11月28日，滴滴发生了长达12小时的P0级故障，目前已经确定是K8s升级导致，那升级为什么产生问题，可以从**滴滴的10月份的k8s文章看出**

本文根据网上流传的滴滴故障的原因，分析了升级方案和降本增效。

11 月 27 日晚滴滴发生了大范围、长时间的故障。这次大故障是遇上了未考虑到的意外因素？还是误操作？如何能减少故障范围？降低风险？

通过观察问题主机的参数，发现net.netfilter.nf_conntrack_tcp_timeout_established的阈值为300，即5分钟后tcp_established的信息将不在记录，从而被nf_conntrack回收。2）当建立的tcp链接，在等待8分钟之后，再发送数据，却迟迟没有收到数据库的返回包，导致java服务端一直在进行包的重传，重传多次，也没有收到数据库的回包。1）数据库在于java服务端建立了tcp链接之后，在立即发送数据包的情况下，可以收到从java服务端发送来的数据包。

点击关注公众号：互联网架构师，后台回复2T获取2TB学习资源！上一篇：2T架构师学习资料干货分享大家好，我是互联网架构师！背景从 2023 年 11 月 27 日晚上 10 点左右截止 2023 年 11 月 28 日中午 12 点期间，DD发生了长达12小时的p0级bug，造成的影响大家通过各种平台或者亲身经历如何我就不多说了，单说对企业造成的损失超千万单和超4个亿的交易额。我只想说不愧是大企...

其次，事故持续时间较长。在此期间，青桔单车的扫码功能仍然不可用，底部标签栏的多个关键功能也无法正常打开。紧接着，在晚上 11 点 20 分左右，滴滴通过微博发布紧急声明，表示他们正在积极进行故障排查与修复，并对用户所遭受的不便表达了歉意。首先，事故的影响范围极为广泛，它严重影响了APP和小程序的正常运行，用户几乎无法使用这两个平台的大部分功能。最后，而且也是最重要的，这次事件可能会对用户对滴滴服务的信心造成长期影响，这是一个非常严重的后果。】标签栏无法打开，估摸年终奖没了，技术团队有苦说不出。

上篇文章详细介绍了弹性云混部的落地历程，弹性云是滴滴内部提供给网约车等核心服务的容器平台，其基于 k8s 实现了对海量 node 的管理和 pod 的调度。本文重点介绍弹性云的调度能力，分为以下部分：调度链路图：介绍当前弹性云调度体系链路，对架构体系有一个初步的认知k8s 调度能力的运用：整体介绍弹性云现在用到的 k8s 调度能力和对其的增强k8s 版本的升级：介绍到从 k8s 1.12 到 1....

11月27日晚上开始，全国多地网友反馈称滴滴出行APP“崩了”，滴滴软件一度不显示定位而且无法打车。一时间“滴滴崩了”登上热搜。11月27日23时19分，滴滴出行官方微博发文致歉：“非常抱歉，由于系统故障，今天晚间滴滴APP服务出现异常，经技术同学紧急修复，目前正陆续恢复中。由此给广大用户和司机师傅们造成不便，我们再次向大家致歉。”11月28日上午7:31，滴滴出行官方微博发布消息：“经技术团队连...

背景： kubernetes集群持续升级： 持续升级过程：Kubernetes 1.16.15升级到1.17.17,Kubernetes 1.17.17升级到1.18.20，Kubernetes 1.18.20升级到1.19.12 Kubernetes 1.19.12升级到1.20.9（强调一下selfLink） 集群配置 主机名 系统 ip k8s-vip slb 10.0.0.37 k8s-master-01 centos7 10.0.0.41 k8s-master-02 cen

当前Kubetnetes已经成为容器编排领域事实的行业标准，越来越多的公司选择使用Kubernetes来搭建其容器云平台。本次分享主要介绍滴滴弹性云在围绕Kubernet...

分享时间：7月31日 20:30分享主题：滴滴弹性云Kubernetes实践分享人介绍：陈聪，滴滴出行资深云计算工程师。先后就职于Redhat、搜狗公司，从事虚拟化相关工...

前言Kubernetes 1.13 在 2018 年 12 初 GA，这是今年的第四次也是最后一次大版本。此版本继续关注 Kubernetes 的稳定性和可扩展性，其中在存储和群集生命周期领域的三个主要功能实现普遍可用（GA）；Kubeadm 简化集群管理、容器存储接口（CSI）和 CoreDNS 作为默认 DNS。我们用最新的版本来学习，通过使用 Kubeadm 来安装 Kubernetes1....