
Microsoft 公布 11 月 12 日 Microsoft 365 全球大規模故障的初步調查結果,確認 7 月推出的網絡閘道修補程式存在程式錯誤。當 Teams 流量增加、約 14% 閘道伺服器容量無法使用時,問題突然爆發,不足 2 小時內令逾 80% 閘道伺服器失去回應。據 Microsoft 11 月 15 日的初步事故報告,Outlook 及 Exchange Online 電郵服務受到嚴重影響,事故歷時接近 24 小時。
7 月修補程式留下錯誤 測試伺服器未能重現問題
Microsoft 指故障發生在接收及轉送 Microsoft 365 服務連線的網絡閘道。公司早於 7 月開始部署一項專供閘道使用的修補程式,數星期內將更新推送至全球,但系統一直運作正常,潛在錯誤超過 3 個月都沒有顯現。
問題涉及內部程式的「鎖競爭」(lock contention):多項處理程序同時爭用相同資源,令伺服器在特定負載下耗盡 CPU 及記憶體資源,最終停止回應。Microsoft 承認測試環境的流量組合和硬件配置與正式環境不同。錯誤在 CPU 核心較多的新型伺服器上更容易發生,但先前負載測試主要使用核心較少的舊式機種,因此未能提前發現。公司強調有關錯誤只涉及 Microsoft 365 特定閘道程式,並不影響一般 Windows 部署。
Teams 流量切換加重負荷 約 14% 伺服器容量當時離線
Microsoft 365 使用兩套獨立的網絡閘道系統,讓不同服務在需要時切換連線。事故發生前約 15 小時,Teams 的通訊由另一套閘道轉到同時處理 Exchange Online 連線的主要閘道。這次屬正常營運安排,但令主要閘道承受更多請求,流量模式亦隨之改變。
同一時間,前一天的另一宗獨立問題令主要閘道約 14% 伺服器容量暫時無法使用。Microsoft 指單獨出現容量減少仍有足夠餘裕應付日常負載,但額外流量與容量下降同時出現,終於在美國流量高峰時觸發 7 月留下的程式錯誤。
自動分流反而擴大故障 不到 2 小時逾八成伺服器失回應
Microsoft 的自動管理系統原本會在伺服器出問題時,把用戶連線轉送至其他正常端點。不過接收額外流量的伺服器亦遇到相同程式錯誤,令可用伺服器不斷減少,形成連鎖故障。按初步報告,事故開始擴散後不足 2 小時,逾 80% 閘道伺服器陷入無法回應狀態。
網絡閘道原設有分隔不同區域及運算資源的保護機制,防止個別區域問題蔓延。Microsoft 指這套隔離機制亦因另一問題未能發揮作用,導致原本局部的伺服器故障擴大至全球。
Outlook 電郵受阻最嚴重 Microsoft 分批修復及恢復服務
Microsoft 初步報告顯示,Exchange Online 受影響最嚴重,大量用戶無法透過 Outlook 及其他電郵軟件連接郵箱,亦有電郵延遲送達。Teams、OneDrive、SharePoint 及 Office 應用程式則可繞過故障閘道,因此部分功能較早恢復;Teams 聊天和會議在事故大部分時間仍可正常使用。由於 Exchange Online 無法以相同方式轉移大量連線,恢復所需時間較長。
工程團隊曾嘗試重啟伺服器,但積壓的連線請求隨即再次湧入,令剛恢復的伺服器又失去回應。由於錯誤源自數月前的更新,正常版本回退及功能開關無法迅速解決。工程師最終編寫修復更新,將相關程式恢復到已知正常狀態,再分批隔離、更新及重啟伺服器,逐步恢復對外服務。公司確認用戶受到的持續影響於 11 月 13 日 16 時 10 分(UTC,即香港時間 11 月 14 日凌晨 0 時 10 分)結束。
Microsoft 已增加容量及分流保護 完整事故報告預計 11 月 20 日公布
Microsoft 在初步事故報告列出的補救措施包括增加網絡閘道容量、加強監察流量轉移及連線處理狀況,並加入防止自動分流引發連鎖故障的保護設定。公司亦延長電郵傳送期限,讓故障期間積壓的訊息完成處理,避免因逾時而被退回。Microsoft 早前澄清事故屬技術問題,與網絡攻擊或 AI 智能體無關。
Microsoft 負責 Copilot、Agents 及 Platform 的執行副總裁 Charles Lamanna 已就事件向客戶致歉。公司指目前公布的只是初步調查結果,預計於 11 月 20 日提供包含更多修復項目的完整事故報告。
資料來源:Microsoft 執行副總裁 Charles Lamanna 公開說明、Microsoft 初步事故報告(公開備份)、BleepingComputer
|
鍾意就快D Share啦!
|
|
|



