微软高管解释 Microsoft 365 服务为何全球宕机:三重故障引发连锁反应,击垮 80% 服务器
IT之家 11 月 16 日消息,当地时间 11 月 12 日,微软旗下 Microsoft 365 多项核心云服务发生大规模故障,导致 Outlook、Exchange Online、Teams、SharePoint 等在全世界范围宕机,数百万名用户超 12 小时无法访问电子邮件。今天微软发布了此次事故的初步报告。据初步判断,此次故障根本原因在于一个 7 月的软件缺陷,然后和另外两个基础设施问题共同发作,引发连锁故障,一度导致微软 80% 网络服务器失去响应。如今,微软高管查尔斯 · 拉曼纳(Charles Lamanna)在 X 平台分享了故障原因的详细说明,IT之家附核心内容如下:今年 7 月,微软在修复 Microsoft 365 网络网关问题时弄出了一个软件缺陷。该漏洞导致服务器进程出现锁竞争(Lock Contention),无法响应特定工作负载。但包含缺陷的软件通过了微软常规测试,并在数周内部署至全球各地,期间没有出现任何问题。微软发现,当时的测试没有发现软件缺陷,是因为测试环境主要使用型号较旧、性能较弱的 CPU 和硬件,然而在核心数更多的新型服务器上,这一漏洞更容易触发。在此次大规模故障发生前几个小时,微软将 Teams 流量从备用网络网关转移到主网络网关。该网关同时负责处理 Exchange Online 流量,此次调整是为了确保 Teams 能够正常运行。虽然这是微软基础设施的常规故障切换操作,但此举增加了 Exchange Online 主网络网关负载,并改变其流量分布。由于前一天发生的另一起无关问题,网络网关约 14% 的服务器容量已经无法使用。此时剩余的 86% 容量仍足以应对正常工作负载。当上述三个问题同时触发时,服务中断正式发生。增加的 Teams 流量与减少的服务器容量,共同触发了此前一直没有发现的软件漏洞。当服务器无响应时,微软的基础设施会自动将流量转发至运行正常的服务器上。但这种机制反而让情况进一步恶化。服务器接收到大量转发流量后负载增加,这时候又触发了同一个软件漏洞,导致越来越多的服务器如连锁反应般倒下。不到两小时,故障就蔓延至微软 80% 网络网关服务器。通常情况下,微软会通过独立容量分区和区域来限制此类故障的影响范围。然而另一个问题导致这些保护机制未能阻止连锁故障,最终使其蔓延至全球。微软计划本周晚些时候发布详细报告,届时将公布更多技术细节。