昨天刚领一个线上P0级重大事故，持续时间1小时，影响范围全站！准确的时间点是下午17点开始，具体问题定位且听我下文细细道来。

先说感觉，那感觉真是太刺激了，本来下午五点，昏昏沉沉的，瞬间一个激灵就清醒了（想象一下高中课堂，你在打瞌睡，突然老师走到你面前给你一下子的感觉），原本准备再过一小时吃晚饭了，吃完晚饭再摸鱼到21点就可以下班了呀，别问我为啥到21点，问你就不是程序员！

带着无比紧张且颤抖的心情开始定位问题，先来个错误日志尝尝鲜：

整个事情的发酵是这样的：1、下午五点开始有少量的慢sql报警，没有人当回事，因为这种事情总发生，虽然大家都知道在实际开发中如何避免慢sql，但是整个团队要想完全避免慢sql却很难；

2、五点十分左右，开始零星有用户反馈指定功能不可用，SLB开始报警，技术开始介入排查；

3、十五分左右，客服部门电话开始爆炸，用户密集反馈指定功能不可用，技术部开始重视；

4、二十分左右，所有服务大面积出现接口无法响应，整体服务不可用；

5、我们一开始定位觉得是MySQL的问题，因为前面有mycat的慢SQL报警，后来定位并不是MySQL，因为MySQL的内存、连接数、流量这些指标都很平稳；

6、最终在五点三十分的时候我们定位到是ES出问题了，因为所有的Java服务不可用最终都指向上面的错误日志，dubbo提供的服务线程池满了，再有请求进来直接拒绝了，查看这个服务的代码，最终查询的是ES，此时的ES进程已经处于假死状态。

那接下来大家说怎么办？如何快速的恢复线上服务？

重启！

是的，只有重启大法此时是最快的解决办法，你不可能说保留ES事故现场，让我用arthas之类的工具来现场分析jvm内存情况。

然而重启之后服务依旧是不可用，接口还是无法响应，大家知道这个时候是什么原因吗？为什么重启了ES服务还是不行？

后续继续重启报错dubbo日志的相应服务，当这些服务全部重启完毕后，我们的服务终于恢复访问了，这个过程持续了十几分钟，确切的说，直到17点五十多分，我们的所有服务才恢复了访问。

接下来就是事故总结、相关责任人、产生问题的原因、接下来的优化方案，全公司邮件通报！

你说这个难不难？本身并不难，难的是事情紧急且重要，这个时候你慌了啊，乱手乱脚的，大家你一言我一语的，如何冷静提取有效信息然后尽可能快的解决生产的重大故障才是最难的！

最后，当一切都恢复平静的时候，你会发现：“卧槽，好累啊！”。

虚脱的感觉！

最后祝大家程序员节日快乐，今年可是程序员的本命年哦～

2020 = 1024 + 996 = 404 + 404 + 404 + 404