第一篇：機房應急預案

主機運維應急預案簡介

.崔志昂 上海超級計算中心 上海 201203 zacui@ssc.net.cn.魏玉琪 上海超級計算中心 上海 201203 yqwei@ssc.net.cn 引言：

高性能計算技術及應用水平已成為顯示綜合國力的一種標志。高性能計算機持續不間斷地 為用戶提供高性能計算服務，而運維應急預案是主機運行中處理突發事件的依據和方法，是主

機系統穩定運行的保障。本文簡要介紹上海超級計算中心主機運維應急預案，供同行參考。

1.主機和運維管理制度簡介

超級計算機是功能最強、運算速度最快、存

儲容量最大的一類計算機。目前只有少數國家掌握 研發技術，系統造價非常昂貴，多用于國家高科技 領域和尖端技術研究，是國家科技發展水平和綜合 國力的重要標志。上海超級計算中心作為上海信息 港主體工程之一，國家和上海市政府投資先后引 進神威-I超級計算機、神威-64P集群計算機、曙光 4000A超級計算機系統并投入商業化運行。

上海超級計算中心自2001年正式開通至今，這些高性能計算機系統已安全、穩定運行七年多時 間，上機用戶取得了豐碩的科研成果和社會效益。在這七年中，為保障這些高性能計算機系統安全、穩定、不間斷地運行，技術支持部在中心引進第一 臺高性能計算機--神威-I超級計算機系統的同時，建 立了機房應急預案、運行記錄、設備運行參數等基 礎運維制度，在二期引進曙光4000A超級計算機系統 過程中，不斷完善原有運維制度，并針對該主機系 統特點編寫了大量操作方法和應急預案。

中心自2006年獲得ISO27001（BS7799）信息安 全認證以來，技術支持部根據其要求規范了文檔體 系建設，形成了機房管理制度、應急預案、操作方 法、運行情況記錄的四大類運維文檔。

正是這些運維管理制度的不斷完善和有效執 行，才確保了資產價值高、服務對象廣、社會影 響大的中心主機系統安全、穩定運行，保障重點項 目、用戶服務的連續性。

2.應急預案重要性

上海超級計算中心機房運維管理文檔劃分為機 房管理制度、應急預案、操作方法、運行記錄共四 大類（如圖1所示）。

圖1 應急預案分類

應急預案在應急系統中起著關鍵作用，它明確 了在突發緊急情況發生之前、發生過程中以及剛剛 結束之后，誰負責做什么、何時做，以及相應的策 略和資源準備等。它是針對可能發生的重大事故，按照其影響和后果嚴重程度，在應急準備、響應、操作各個方面預先做出的詳細安排，是開展及時、有序和有效事故應急工作的行動指南。因此，應急 預案在這四類運維管理文檔中處于最為重要的地位。

3.應急預案分類

應急預案按重要性和事件種類，可以劃分為消

防預案、斷電預案、空調預案、其他預案共4種，預 案各文檔之間彼此獨立又互為關聯，具有非常強的 可操作性。制定預案的指導原則是盡一切可能，最 大限度地確保向用戶提供的服務不中斷。在緊急事 件發生的情況下，保證核心設備連續運行，避免存 儲數據丟失。在事件處置完成后，能快速恢復高性 能計算服務。

3.1 消防預案

消防預案是主機房最重要的應急預案。該類預 案根據《上海超級計算中心滅火和應急疏散預案》 的原則并結合主機房主機設備和消防設備的運行特 性而制定。主要由《主機房消防應急預案》和《主 機房氣體噴淋消防系統啟動撤離及處置應急預案》 2個文檔組成。

消防應急預案：該預案著重規范了火警事件發 生后，所有主機維護人員如何根據所屬區域和現場 情況，判斷和選擇正確的處理方法，同時配合中心 物業人員處置，降低事件帶來的影響。

對于設備發生煙霧，主機維護人員協同物業人 員尋找煙霧點予以切斷相關區域電源；當設備發生 可以控制火情，協同物業人員滅火；當主機房發生 火災而無法控制，應采取施救方法等措施。

氣體噴淋預案：該預案描述主機房氣體噴淋系統啟

動的響應和確認并具體規定了撤離機房路線、善后處置。

這兩個預案中，消防應急預案作為消防預案 的主體，涉及到如何處理與消防有關情況的各個方 面。氣體噴淋預案是主機房發生重大火災時應對的 最終滅火手段和人員撤離引導方法。

3.2 斷電預案

斷電預案的重要性僅次于消防預案。該類預

案根據中心供配電系統實際情況和各種斷電影響范 圍下對主機運行的最小保障要求而制定的。主要由

《主機房斷電應急預案》、《曙光4000A超級計算機 系統緊急關機操作方法》、《曙光4000A超級計算機 系統雙路斷電關機操作方法》等多個文檔組成。

主機房斷電應急預案：該預案用于斷電情況

下，主機維護人員如何與中心物業部門聯系控制主 機房供電情況，并且負責對主機系統運行受斷電影 響程度做出正確判斷。指導維護人員按影響程度，分別選用預案中對應的操作方法。本預案在所有斷 電預案中起指導思想作用。緊急關機操作方法：該預案制定了主機系統在 緊急情況下，最快速度關機的操作步驟。主要用于 發生煙霧、明火或消防、斷電預案需在數分鐘內關 機斷電的事件。

雙路斷電關機操作方法：該緊急操作預案主要 用于在外界雙路供電全部中斷情況下的操作。

該預案的關機原則是：根據實際電力供應考慮 操作步驟，寧慢勿快，在時間允許的情況下，最大 程度保證存儲節點、SAN和SCSI存儲設備、工程用戶 的計算節點的運行，盡可能減少關閉范圍，以確保 能在恢復供電的情況下，主機盡快恢復正常運行狀 態，減少影響范圍。

3.3 空調預案

超級計算機系統在運行中消耗大量電能，在

提供高性能的計算能力同時產生大量的熱量，必須 采用專用空調系統，以保持主機系統適當的溫、濕 度、空氣潔凈度等運行環境需求。因此，專用空調 系統與主機系統密切相關，空調預案是主機房必備 的應急預案。

制定該預案的原因在于，斷電情況下，空調與 主機系統存在互相牽制的現狀。主機和空調系統均 為外界雙路供電，主機系統配有UPS不間斷電源系 統，而空調系統無UPS支持。在雙路停電情況下，主 機系統可獲得UPS電池組支持運行若干分鐘，空調系 統無UPS支持只能停機。由于在無空調冷卻情況下，主機系統會在短時間內積聚大量熱量導致超過運行 警戒溫度，主機系統在有可供電余量的情況下，仍 將被迫關機。因此，確?？照{中斷情況下的主機運 行環境是該預案的制定原則。

預案根據各臺主機配備的空調系統特點制定，由《曙光機房空調系統故障應急預案》和《神威機 房空調系統應急預案》2個文檔組成，這里僅介紹曙 光機房空調系統應急預案。

該預案的第一步：考慮增強主機系統散熱效

果，采用打開主機機柜前后門，和機房周邊木門，在通風道上布置有UPS支持的應急風扇，形成空氣對 流，帶走熱空氣，從而增強主機系統散熱效果，降 低升溫速度。

該預案的第二步：在采取上述措施并持續升溫 到一定溫度之上的情況下，考慮緊急關閉部分或全 部計算節點，減少熱量生成，確保主機系統的核心 存儲和網絡系統不受影響，確?？照{系統修復后，主機系統能快速恢復運行。

3.4 其他預案

除了固定的三類預案之外，技術支持部還根據 主機系統實際運行中出現的各種意外情況，隨時制 定具有針對性的預案。

如《大樓頂棚坍塌應急操作方法》的制定，就

是由于2008年1月連續發生雨雪等災害性天氣，中心 大樓頂棚大量積雪且難融化，物業預計存在情況繼 續惡化，有發生頂棚坍塌事故的可能，一旦發生將 影響一樓主機運行。

針對該突發的隱患，中心技術支持部制定應急 操作方法，對維護巡查頻度范圍、漏水可能發生位 置、如何處理受漏水影響的主機設備等操作步驟進 行嚴格界定。即使在最后，中心大樓頂棚經受住災 害性天氣的考驗，該預案并未發揮作用，這正體現 了應急預案的備而不用的特點。而且通過各種意外

情況的迅速分析、應對和實踐操練，不斷鍛煉主機 維護隊伍，使之走向成熟。

4.在實際案例中，應急預案的作用

在主機系統年復一年的運行中，我們希望這些 設備正常穩定運行，應急預案永遠不會被使用，然 而在實際運行中，總免不了因突發事件執行應急預 案。

而每次突發事件是檢驗應急預案制定是否科 學、有效的最好證明。

4.1 雙路斷電，UPS正常運行案例

2006年8月某天，因打雷導致供電一路跳閘自動 換至另一路供電，曙光機房2臺空調掉電。

主機維護人員立即按應急預案操作，電話通知 物業人員恢復空調運行，恢復過程中所有空調相繼 出現高溫報警，機柜液晶屏平均溫度35度，開啟全 部曙光機柜前后門，打開神威-曙光玻璃門并調集應 急電扇，于12:45恢復正常。

12:50再次出現雙路供電中斷，曙光空調因無

UPS支撐全部斷電，啟動斷電應急預案，開啟5、6號 木門，開啟神威機房全部空調，布置電扇，將冷氣 導入曙光機房，熱量從6號木門的外部通道排出，選 擇性殺除部分作業，至13:05供電恢復，曙光空調開 始工作，13:20環境恢復正常。全機在此過程中，正 常運行未停機，只損失了部分不重要的作業。

4.2 單路斷電，UPS失效案例

2007年8月某天，因低壓配電柜開關至UPS房間 X-JM柜電纜發生相對地短路，造成UPS機組逆變器 自身保護動作，關閉UPS機組，導致曙光主機系統失 電。

全機掉電后，主機維護人員迅速按應急預案

手 工 關 閉 所 有 電 源 開 關。1 0 : 3 0恢 復 供 電，溫濕度恢復正常后，全機加電，恢復過程中修復

storage001、005、010三個盤陣的9個用戶文件系統，修復15個節點加電故障，除cnode009、anode029電源

環 境 模塊故障，于當日15:10全機系統恢復正常。

由于處置及時，主機受影響范圍很小，在恢復 供電后數小時即成功開啟全系統。

5.隨時保持應急預案的適用性

主機長年累月的運行，故障和問題的發生，往 往是必然的，也是客觀、無法回避的。因此，要求 在維護工作中，預先考慮到可能的問題和故障，制 定完善的應急預案。應急預案不可能包含所有的故 障和問題，但應根據維護經驗，盡可能地設想各種 危機情況下的處置措施。做到預想到各種可能的問 題。

而在形成應急預案后，更重要的是持續地在

運行中加以完善、測試和演練，盡可能模擬實際情 況，做到即使只有1名維護人員在場，也能在真正發 生危機時，以最短時間獨立處置故障。

以目前中心的主機運維工作為例，三年內，僅 斷電預案就已根據實際運行情況的變化，制定并更 新了5~6個版本，針對夏季突發斷電也有專用預案。這樣的措施，直接保障了2006年8月突發斷電事件中 的主機連續運行。而2007年8月的突發斷電事件中，由于預案在之前剛根據實際情況進行過演練和修 改，主機維護人員僅用半小時就完成所有應急操作 動作，整機僅有個別設備故障，確保了主機設備未 因突發斷電而發生大范圍損壞現象，恢復供電后直 接完成開機。

實踐證明，完善而適用的應急預案能保障向用 戶提供穩定的高性能計算服務。

6.結束語

完備而適用的應急預案能有效降低主機系統因 意外事件發生帶來的運行風險，對可能發生的意外 來說，是一種事前防范措施。但對整個主機系統產 品而言，是一種事后防范措施。如果主機系統生產 廠商能把這些防范措施納入整個系統設計過程中，使操作方法更加簡便、更趨于人性化，這將幫助主 機維護人員更為妥善處理意外事件，用戶得到更為 穩定的高性能計算服務。我們相信未來國產的高性 能計算機能做到這一點，期待著這一天早日到來。

（為幫助了解，特在附錄中節選部分雙路斷電關機預案內容）

附錄：《曙光4000A超級計算機系統雙路斷電關機操作方法》（省略具體操作步驟）

曙光4000A超級計算機系統雙路斷電關機操作方法

注意：

1、本方法專用于主機房發生雙路同時斷電緊急操作使用。（包括單線斷電切換失?。?。

2、本方法作為《曙光-4000A超級計算機系統緊急關機操作方法》（SSCS(TS)-XXXX-XXXX-XXXX）的附件。

1.斷電確認及操作：

主機房內一旦發現斷電，并接物業明確通知為雙路斷電，首先執行如下操作（即確保節點溫度）：

1.1 打開機房門便于散熱，..1.2 機房通道上布置應急風扇加強冷熱空氣對流，夏季：應急風扇布置..；冬季：應急風扇布置..，使曙光

機房的溫度盡量降低。

1.3 打開所有機柜前、后門。

1.4 密切注意機房節點平均溫度（專指各機柜液晶面板所示之環境溫度值）。

2.緊急關機條件確認：

在完成上述操作后，密切觀察主機房環境。一旦有如下任何一個條件滿足：

2.1 自斷電發生起，已達到XX分鐘仍未恢復供電；

2.2 采取上述緊急通風措施，節點溫度持續上升，超過XX℃；

可認定為緊急斷電事件，即刻按下列緊急關機操作方法進行操作。

3.緊急關機操作步驟：

注意事項：

3.1..3.2 關機操作的全過程中，注意隨時保持和物業的通訊聯系。除根據情況隨時聯絡外，應嚴格保證每XX分鐘與物

業聯系一次，詢問UPS可支撐時間及恢復供電可能。（分機、手機、對講機等）

3.3 應理解關機原則為：根據實際電力供應考慮操作步驟，寧慢勿快，在時間允許的情況下，最大程度保證X排節

點、存儲節點、SAN和SCSI存儲設備的運行，盡可能減少關閉范圍，以確?；謴?。

第一級操作：（首先執行）關閉主機系統外圍設備..第二級操作：（完成上述操作后，當再次發現UPS電池低于XX分鐘或節點平均溫度超過XX℃，任一條件滿足，執行如下操作）

關閉非重要用戶計算節點（ABC組）..第三級操作：（完成上述操作后，當再次發現UPS電池低于XX分鐘或節點平均溫度超過XX℃，任一條件滿足，執行如下操作）

關閉所有用戶計算節點（D組）..第四級操作：（完成上述操作后，當再次發現UPS電池低于XX分鐘或節點平均溫度超過XX℃，任一條件滿足，執行如下操作）

關閉SAN存儲設備和LSF數據庫服務器..第五級操作：（完成上述操作后，當再次發現UPS電池低于XX分鐘或節點平均溫度超過XX℃，任一條件滿足，完成關機操作）

關閉SCSI磁盤陣列和所有存儲節點..特別關注：

1.如時間非常緊急，UPS電池低于XX分鐘：

直接執行關機腳本：..此腳本可分別將計算節點、接入節點、存儲節點進行關閉。

2.如時間極其緊急，UPS電池低于XX分鐘，可按《曙光-4000A超級計算機系統緊急關機操作方法》（SSCS(TS)-XXXX-XXXX-XXXX），直接拉閘操作。

（上述二個方法僅用于突發情況，非極其必要情況下嚴禁使用，應使用前列方法操作）

3.如遇主機失電（如關機操作不及已掉電或突發自動掉電）應關閉所涉范圍所有設備電閘開關。..

第二篇：機房應急預案

應急處置方案

第一節 總 則

1、保證人員和財產的安全為前提的原則：在由于火災或電力問題造成的主機故障，在解決故障前，應以保證人員的生命安全和財產的安全為前提，然后進行故障的解決。

2、最快時間恢復業務的原則：本著先想盡一切方法，盡快恢復業務的原則來處理故障，如在有備用設備的情況下，主設備產生了故障，應先盡快將應用切換到備用機上，使業務能夠運行，再對故障設備進行診斷和維修。

3、故障應急人員高度負責的原則：當故障應急人員在節假日接到故障通知時，本著高度負責的態度，應迅速接手處理障礙，如遠程無法處理解決，應迅速趕到故障設備所在地，進行現場處理，處理故障的同時應及時向領導匯報。應急人員不可互相推卸責任，如因特殊情況，確實無法處理障礙，部門領導必須安排好其他人員處理。

4、盡可能全面的保留故障現場的原則：當故障發生后，應急人員應盡可能全面的備份出能夠反映故障現象的各種日志、記錄、受損文件等，便于業務恢復后，對故障的分析、解決，杜絕故障的再次發生。

應急方案的目標：保證預付卡運營系統連續安全穩定地運行。

第二節 應急領導小組

應急領導小組成員：

組 長： 副組長: 成 員：

第三節 電源系統故障應急處理

定期檢查信息中心機房電源設備的運行狀況，當發生下列突發事件時，按以下方案進行處置：

當中心機房發生市電供電突然停電或遠程報警電源異常時。首先確認是否為正常停電及預計停電時間。檢查不間斷電源的電池可供電時間，需在不間斷電源供電時效內關閉所有服務器及網絡設備。

聯系工程部查看停電原因，盡快恢復供電，并將情況報告相關領導

工程部聯系電話：

第四節 空調系統故障應急處理

定期對空調的運行情況進行檢查，如有報警信息，應及時查找故障原因，對于不能自行排除的問題，應及時與設備提供商進行聯系。

當中心機房主空調因故障無法制冷，致使機房內環境溫度超過攝氏40度時，打開機房房門，并關閉所有服務器及網絡設備。對于無法自行處置的空調系統異常情況，及時與設備提供商聯系，并報告公司領導。空調問題聯系人：

第五節 中心機房自動消防系統應急處理

當中心機房發生火警時，按以下方案進行處置：

1.上班工作時間發生火警，聽到自動消防系統發出的聲光報警后，中心機房附近辦公室人員應及時緊急撤離，避免氣體自動消防系統啟動后，消防氣體對附近人員造成人身傷害。確認火警后，立刻撥打119報警，并說明盡量使用氣體滅火器進行滅火，減少電子設備的損壞。

2.發生火警后，信息中心相關人員應馬上趕赴現場，并向有關領導報告事故情況。同時立即聯系聯通等相關公司，及時評估事故損失情況，研討盡快恢復信息系統正常運行的最佳方案。安保消防中控電話：

第六節 設備、網絡系統故障應急處理

設備、網絡應用系統故障應由發現人通知技術部，技術部門立即檢查故障，進行初步故障定位,解決；

1．網絡設備、服務器、儲存設備均有備份，當設備存在硬件問題時，可隨時把業務切換到備份主機上，保證業務正常運行； 2．應用系統每更新一次則做一次遠程備份，在遠程主機上分別備份舊的應用系統和更新后的應用系統，以當天的更新日期命名； 3．對磁盤柜上的數據庫文件有定時任務，每天凌晨4：00會把數據庫里的數據文件倒出到遠程備份主機上，以確保磁盤柜出現硬件故障的時候，數據文件不丟失；對于網絡、應用系統出現硬件方面的故障，比較嚴重的問題，對業務的正常運行造成較大的影響，立即向有關領導報告。

4、網絡中有監控服務器，運用Cacti v10最新的版本，監控網絡所有設備（路由器，防火墻，交換機以及服務器設備）；對設備本身的硬件檢測、外部入侵檢測、外部攻擊等多種對系統不利因素以發送mail的形式報警；相關人員收到報警信息，分析收到的log日志以做出相應的處理。

5、每周周五對網絡設備進行日志及配置文件采集，對數據庫數據文件定期下載，和遠程備份；在本地電腦上保存最近的配置文件，以便在發生毀滅性的災難時，用來重組。

對簡單故障，運維人員應迅速排除故障，解決問題并記錄。如果需要更換設備，應上報有關領導,經批準后馬上更換故障設備，盡快恢復網絡、應用系統運行。運維部門判斷無法及時修理時，應立即通知相關的系統運行服務提供商，在最短的時間內安排修理或更換系統。

如發現屬外部線路的問題，應與線路服務提供商聯系，敦促對方盡快恢復故障線路。

啟用備份線路、設備、系統，迅速恢復相關的應用。

聯通聯系電話：

第七節 黑客入侵的應急處理

發現網絡上有黑客攻擊行為，任何人員都有義務向技術部門報告。技術部立即啟動應急響應，切斷受攻擊計算機與網絡的連接，停止一切操作、保護現場，并上報有關領導。

對于黑客攻擊，由計算中心組織應急響應專家小組查找入侵蹤跡，分析入侵方式和原因。由安全管理員根據對入侵事件的分析，組織相關人員對內部網計算機整改，防止黑客用同樣的手段再次入侵其他系統。安全管理員檢查確定無安全隱患后，才可將受攻擊計算機重新連接網絡，或啟用備份計算機來恢復應用。

安全管理員應做好記錄，保護現場，進行日志收集等工作。如果能追查到攻擊者的相關信息，可以對其發出警告，必要時可以采取進一步的行動，乃至采取法律手段。根據破壞程度，經有關領導同意后，上報公安部門。

若系統已被黑客破壞，無法恢復，應將受黑客攻擊的計算機上的重要數據備份到其他存儲介質，確保計算機內重要的數據不丟失。如果數據無法恢復，經有關領導同意后，可與國家指定的部門聯系，由他們來協助恢復，為保證數據信息安全，需在安全管理部門作記錄。

第八節 生產系統、數據庫故障處理

生產系統出現故障，技術部做出應急處理

1.因軟件設計缺陷、設計漏洞等引起的故障，通知公司研發部門在2小時內查明原因，解決問題。

2.數據庫出現故障，運維人員應在2小時內查清故障原因，其他相關部門應積極配合，解決問題。

3.如出現數據丟失情況，確認不能自行恢復后，啟用備份恢復數據，24小時內恢復運營。

本方案自發布之日起施行

第三篇：機房應急預案

中心機房突發事件應急預案

第一條

機房突發事件包括網絡設備或服務器故障、自然災害（水、火、電等）造成的 物理破壞、人為失誤造成的安全事件等等。針對突發事件的預防措施如下：

1.建立安全、可靠、穩定運行的機房環境，防火、防盜、防雷電、防水、防靜電、防塵； 建立備份電源系統；加強所有人員防火、防盜等基本技能培訓。

2.服務器采用可靠、穩定的硬件設備，落實數據備份機制，安裝有效的防病毒軟件，及時 更新升級掃描引擎；加強對局域網內所有用戶和信息系統管理員的安全技術培訓。

第二條

機房漏水應急預案如下：

1.發生機房漏水時，第一目擊者應立即通知機房管理人員。

2.若空調系統出現滲漏水，機房管理人員應立即安排停用故障空調，清除機房積水，并及 時聯系設備供應方處理，同時啟動備用空調，必要情況下可臨時用電扇對服務器進行降溫。3.若為墻體或窗戶滲漏水，機房管理人員應立即采取有效措施確保機房安全，同時安排通 知辦公室，及時清除積水，維修墻體或窗戶，消除滲漏水隱患。

第三條

機房火災應急預案如下：

1.完善機房環境，確保機房具備二氧化碳滅火器；禁止攜帶易燃易爆物品進入機房。2.機房管理人員應熟悉機房內部消防安全操作和規則，了解消防設備操作原理，掌握消防 應急處理步驟、措施和要領，懂得滅火的方法，會撲救初起火災，并定期組織滅火演習。3.一旦發生火災，迅速切斷機房電源，避免災情的擴散，并迅速撥打物業管理和119火警電話。

4.等待消防車到來期間,應組織物業保安或工作人員在保證安全的前提下滅火,應急領導小組應在第一時間內集中所有二氧化碳滅火器,抓住時機,盡可能的把火撲滅。

5.配合消防部門調查事故原因，對造成的損失和起火原因做好記錄，以便進行災后總結。

第四條

雷擊事故應急預案如下：

1.遇雷暴天氣，機房管理人員在下班后應及時關閉所有服務器，切斷電源，暫停內部計算 機網絡工作。

2.雷暴天氣結束后，機房管理人員應及時開通服務器，恢復內部計算機網絡工作，對設備 和數據進行檢查。出現故障的，事發部門應將故障情況及時報告機房管理人員。

3.因雷擊造成損失的，機房管理人員應會同相關部門進行核實、報損，并在調查工作結束 后一日內書面報告領導。

第五條

設備防盜被盜或人為損害應急預案如下：

1.機房管理人員每日查看、清點設備并鎖好機房大門。

2.機房管理人員每日檢查錄像監控服務器狀態，確保監控畫面正常，并檢查每日錄像正常性、完整性。

3.發生設備被盜或人為損害設備情況時，使用者或管理者應立即報告相關負責人，同時保護好現場。

4.機房維護人員接報后，通知保安及公安部門，一同核實審定現場情況，清點被盜物資或盤查人為損害情況，做好必要的影像記錄和文字記錄。

5.事發單位和當事人應積極配合公安部門進行調查，并將有關情況向機房管理人員匯報。

第六條

機房停電應急預案如下：

1.接到停電通知后，機房管理人員應及時通過辦公系統、電話等發布相關信息，部署應對具體措施，要求用戶在停電前停止業務、保存數據。

2.機房管理人員每日檢查UPS電源的狀態,確保在突發停電時,UPS電源能自動供應服務器正常工作半個小時,保證員工工作的數據及時保存。

第七條

通信網絡故障應急預案如下：

1.發生通信線路中斷、流量異常等故障后，員工應及時通知機房管理人員。

2.機房管理人員在接到報告后，迅速組織相關技術人員檢測故障區域，并作相關故障處理，必要時通知通信網絡運營商查清原因；逐步恢復故障區與服務器的網絡聯接，恢復通信網絡，保證正常運轉。

3.應急處理結束后，機房管理人員應在一日之內提交故障分析報告，以便備案。

第八條

服務器故障應急預案如下：

1.機房管理人員每日檢查服務器狀態，檢查郵箱服務器狀態，確保系統運行的完善。

2.機房管理人員定期備份服務器數據，并將備份資料刻錄成光盤或拷貝到移動硬盤。

第九條

1.發生機房突發事件后，機房管理人員應采取有效措施開展先期處置，恢復信息網絡正常狀態。應急處置工作結束后，機房管理人員對事件發生原因、性質、影響、后果、責任及應急處置能力、恢復重建等問題進行全面調查評估，根據應急處置中暴露出的管理、協調和技術問題，改進和完善預案，實施針對性演練，總結經驗教訓，整改存在隱患，組織恢復正常工作秩序。

第四篇：機房火災事故應急預案

機房火災事故應急預案

1.總則 1.1編制目的

為高效有序地做好機房火災事故的應急處置工作，避免或最大程度地減輕火災事故造成的損失，保障員工生命和企業財產安全，維護社會穩定。1.2編制依據

《中華人民共和國安全生產法》 《江蘇省消防條例》 1.3適用范圍

適用于機房火災事故的現場應急處置和應急救援工作。2.事件特征

2.1事件類型及危險性分析

2.1.1電氣線路短路、過載、接觸電阻過大，靜電，雷擊等強電侵入，機房內電腦、空調等用電設備長時間通電過熱、設備故障等原因均可能引起計算機房的火災事故。

2.1.2機房火災事故會造成計算機設備損壞、系統故障網絡中斷或癱瘓，影響網絡的安全運行。

2.1.3火災產生的有毒煙霧污染機房的空氣，造成人員中毒、窒息等人身傷亡事故。3.應急組織及職責 3.1火災應急指揮部

應急指揮部總指揮： 機房火災應急搶險指揮： 成員：

3.2指揮部人員的職責

3.2.1指揮的職責：全面指揮突發事件應急救援工作。

3.2.2高低壓專業職責：組織、協調本部門人員參加應急處置和救援工作，對發生險情機房切斷電源。

3.2.3智能化專業職責：監控相關區域事故情況。

3.2.4空調專業職責：發現異常情況，及時切斷空調、通風系統，做好運行方式的調整和故障設備的隔離。4應急處置

4.1現場應急處置程序

4.1.1最早發現火情者應立即向值班長和機房負責人匯報，機房負責人到現場指揮滅火，同時報告公司領導，啟動本預案。

4.1.2機房負責人根據事故狀態及危害程度做出相應的應急決定，指揮疏散現場無關人員，各應急救援隊立即開展救援。

4.1.3事故擴大時，撥打119報警電話請求市消防隊支援。報警內容：單位名稱、地址、著火物質、火勢大小、著火范圍。把自己的電話號碼和姓名告訴對方，以便聯系。同時還要注意聽清對方提出的問題，以便正確回答。打完電話后，要立即到交叉路口等候消防車的到來，以便引導消防車迅速趕到火災現場。4.2現場應急處置措施

4.2.1機房負責人組織人員迅速查明著火原因。4.2.2發生火災事故后，運行值班人員在人身安全不受危害的情況下要堅守本職崗位，確保設備運行。

4.2.3火災初起階段，值班人員要利用區域內常規滅火器（干粉或氣體滅火器）進行撲救?？刂瞥跗鸹馂模乐够饎萋?。根據火勢情況立即啟動氣體自動滅火裝置。

4.2.4被困火場逃生時，應用濕毛巾捂住口鼻，背向煙火方向迅速離開。逃生通道被切斷、短時間內無人救援時，應關緊迎火門窗，用濕毛巾、濕布堵塞門縫，用水淋透房門，防止煙火侵入。

4.2.5火災發生時要采取有效措施撲滅身上的火焰，使傷員迅速脫離開致傷現場。當衣服著火時，應采用各種方法盡快地滅火，如水浸、水淋、就地臥倒翻滾等，千萬不可直立奔跑或站立呼喊，以免助長燃燒，引起或加重呼吸道燒傷。滅火后傷員應立即將衣服脫去，如衣服和皮膚粘在一起，可在救護人員的幫助下把未粘的部分剪去，并對創面進行包扎。

4.2.6在火場，對于燒傷創面一般可不做特殊處理，盡量不要弄破水泡，不能涂龍膽紫一類有色的外用藥，以免影響燒傷面深度的判斷。為防止創面繼續污染，避免加重感染和加深創面，對創面應立即用三角巾、大紗布塊、清潔的衣眼和被單等，給予簡單而確實的包扎。手足被燒傷時，應將各個指、趾分開包扎，以防粘連。

4.2.7消防隊到達火場時，應立即與消防隊負責人取得聯系并交待失火設備現狀和運行設備狀況，然后協助消防隊滅火，并提供技術支援。4.2.8復情況，事故應急處理全部結束，才能恢復生產秩序。4.3火災事故報告流程

4.3.1出現火情后，值班人員除采取有效措施撲滅初期火情外應立即想機房負責人匯報；

4.3.2火勢無法控制時由機房負責人決定報火警請求轄區消防隊救援。并在在火災事故發生后1小時內向所云匯報突發事件信息。速報內容主要包括事故發生的時間、地點、人員傷亡、設備損壞情況、可能的引發因素和發展趨勢等。4.3.3聯系方式

消防隊： 119 醫務急救：120 4.4注意事項

4.4.1應急處置時注意防止中毒、窒息、觸電、燙傷。

4.4.2危險區設好警戒線，并掛好標示牌。無操作權限的人員不得亂動現場設備。

4.4.3佩戴個人防護器具時注意檢查防護用品合格，且在有效檢驗期內；正確佩戴使用正壓式呼吸器、隔熱服、隔熱手套、絕緣靴等安全防護用具。

4.4.4現場自救和互救時不熟悉現場情況和滅火方法的人員不得盲目進入危險區域，救人前先確認自己的能力和現場情況是否能夠滿足對他人施救的需要。

4.4.5應急救援結束后要全面檢查，確認現場無火災隱患和建筑物坍塌的隱患。4.4.6加強自身防護，避免救火導致人身傷害。4.5附則

4.5.1機房應急人員的聯系方式。

第五篇：機房用電應急預案

1，機房意外停電后，首先確定停電的范圍以及受影響的設備范圍。2，確認停電的范圍為本樓或本校區，應立即打后勤管理處電話匯報。估算電力可能恢復的時間。并通知網絡中心領導。3，如果確認停電的時間為1個小時內，可以在UPS正常供電的時間內，等到電力恢復，如果不能確認在2小時內恢復，立即匯報給機房電源維護負責人和中心機房各設備的負責人到達現場。做好各設備的電源停電準備，在UPS供電達1.5小時后，嚴格殷實操作手冊停掉存儲和各應用服務器的電源。最后停核心交換機和路由器，等待電力恢復。電力恢復供電后轉第七條執行。如果確認停電的范圍僅在于本機房電源故障。立即匯報給機房電源維護負責人。4，機房維護負責人將掉電的電源柜總空開和分空開的狀態處于下電狀態。并向主管領導匯報。馬上聯系相關廠家，如有可能請廠家立即到現場支持。5，將掉電的所有設備電源處于下電狀態。以防止電源柜加電對設備的沖擊。6，等各廠家和相關人員到齊后，商議設備恢復時間因注意的事項。并形成相關文檔。7，電力室恢復供電后，先不要急于給電源柜加電，等待10-20分鐘后，再開始給電源柜加電，以防止供電不穩定或再次掉電。8，供電正常后，確定設備處于下電狀態后，打開電力柜的總控開。9，根據設備加電順序，啟動分項空開。10，設備加電順序，IP交換機和SAN交換機正常后再給存儲加電，存儲狀態檢查正常后，啟動主機(以上各設備務必按操作手冊的啟動順序上電).11，設備啟動正常后，開始啟動數據庫。12，數據庫啟動正常后，開始啟動中間件服務器。13，中間件服務器正常后，啟動應用程序。

2，核心機房電力的保障一直是維護體系的頭等重要事項，通過實施應急發電演練，建立了可靠的應急預案機制，最大限度的降低電源中斷對網絡傳輸質量的影響?，F分享核心機房電源中斷應急預案，希望分公司盡快建立一套統一指揮、職責明確、反應迅速、處置有力的機房安全保障機制。3，組織架構: 4，責任領導、工程維護、網絡監控、網絡運維、質量管理等相關人員。

5，機房電源系統說明: 6，1.機房電力是兩路三相四線制供電，進線線纜規格為：RVV50*4+16*1銅芯護套線。

7，2.機房電源系統采用三級防雷系統，三級防雷分別位于電源進線端、UPS輸入前端。

8，3.機房現有兩臺60KVA-UPS電源，均處于正常運行狀態。

9，4.機房現有設備機柜已編號，均通過UPS電源和市電供電，每個機柜有獨立的20A空氣開關。空調、墻壁插座開關、應急燈、照明等都是單獨空開接市電。

10，5.運行中的UPS電源所帶負荷，在逆變運行狀態下能正常工作約4小時(已經過UPS放電測試)。

11，一.核心機房電源中斷預案

12，1.在接到停電通知的情況下： 13，1)計劃性停電通知要確保綜合部、工維機房管理部對口人接到通知(提前將對口聯系人備案在物業處)，機房管理員接到計劃停電通知后，升級到調度中心進行信息發送，同步進行郵件通知相應應急小組成員。并與負責組長及責任領導電話告知，確保已經接收到本次停電的時間及可能發生的情況。

14，2)維部進行發電應急預案小組成員通知，提前做好機房發電預案要求的準備工作，將相應的發電機、連接線、人員安排到位，各司其職，隨時待命現場，做發電準備工作。確保停電時刻的電力安全及機房用電的保障措施，提前調度安排好相應人員做好保障用電的措施。

15，3)計劃停電時間開始后，馬上啟動應急發電操作，按照機房發電操作步驟實施階梯供電的步驟，恢復市電保障。并進行現場值守及設備工作確認，確保全部正常后電話告知調度中心及維護體系領導。

16，2.在沒有接到任何通知，突然發生停電的情況下：

17，確認停電線路，停電時刻，停電時間等要素，啟動核心機房發電應急預案。

18，1)值班網管工作流程：

19，⑴值班網管監控到核心機房停電，第一時間告知工維部、網絡部、運維部應急小組組長。信息傳達到工維部機房管理員(一主一備)，告知停電開始時間。

20，要求在停電5分鐘內將消息傳達到調度中心，各應急小組組長。如無法聯系上，進行升級到責任領導-工維部經理經理處。21，⑵網管將停電信息電話傳達后，進行調度派單，確保全部的應急小組成員都收到本次故障停電的信息。然后進行機房中設備的檢查，包括：UPS設備主機、各核心設備、匯聚設備、服務器、語音系統等。檢查是否受影響。同時啟動機房降溫措施(降溫方案：初步為加裝抽排風設備、增加大風扇排風形成熱量流動降溫)22，⑶實時監控設備及UPS工作情況，包括：電量下降情況，設備工作正常情況，每15分鐘通報一次電量情況。

23，2)運維部應急工作流程：

24，⑴運維應急同事接到故障通告后，第一時間往停電現場趕，到現場配合網管/工維部門進行設備儀器的檢查、客服語音系統的保障，應急發電的協助。

25，⑵現場配合進行機房降溫散熱措施實施，實時檢查網絡設備的工作情況。

26，3)運營質量管理應急工作流程：

27，⑴調度中心值班人員接到網管監控調度信息后，第一時間將故障信息記錄并發故障通告到相關應急成員，并電話通知各應急小組組長是否知悉。

28，⑵進行客服調度系統的設備工作運行系統檢查，特別語音系統級坐席電腦，是否有問題，如發現工作系統有異常，及時與運維應急小組成員溝通，進行檢查處理。

29，⑶實時關注故障工單流程進度登記，配合應急小組進行人員調度通告。30，4)工維部應急工作流程：

31，⑴機房管理員第一時間往停電現場趕，同時進行電話溝通供電公司、物業方等，咨詢停電原因，是屬于計劃性還是突發性停電，預計停電時長，將咨詢清楚的結果反饋到應急小組成員中，電話聯系物業溝通好需要發電需求申請。

32，⑵工維應急小組組長接到時間后第一時間往停電現場趕，同時進行發電應急小組成員調度，安排第一時間到場工作開展，并升級通報告知主管領導，對口集團維護中心上報信息。

33，⑶工維應急小組成員接到停電時間后第一時間往停電現場趕，要求30分鐘內必須到場(住機房附近的人員往現場去，較遠同事可以進行打車往現場去)，先行到處同事配合網管、運維同事啟動做好應急發電前的準備：連接線布放、接續、發電機發電前檢測油/電/水路檢查，確保正常。確保一切就緒后，確認可以進行發電操作后，按照發電操作流程進行發電恢復市電。

34，⑷網管將監控到停電的相應信息及級別同步發送到運營質量管理部調度崗，由調度崗將相應信息進行工維、運維、網絡關聯同事進行信息告知，同時報工維主管領導知悉。

35，5)應急機房發電操作流程：

36，⑴機房用電系統包括四方面：空調制冷、主/備UPS主機、照明系統、客服調度系統。37，⑵發電前考慮4方面系統設備用電功率情況，為保障發電機帶動的正常，不能進行同步供電，要區分優先恢復的步驟實施，確認發電機的工作正常。在發電前將需要供電的“空調制冷、主/備UPS主機、照明系統、客服調度系統”的市電輸入主開關關閉。防止同步啟動時發電機的無法供電保證。

38，⑶啟動發電機，檢測發電輸出電流通斷，待發電機運行穩定后。

39，第一步啟動空調制冷系統的市電輸入開關，運維應急小組成員重新啟動空調主機(空調因為市電恢復后需要重新啟動)觀察空調制冷工作是否正常。

40，第二步啟動主UPS設備的市電輸入開關，觀察發電機運行穩定情況，主UPS主機工作穩定情況，網絡設備的工作正常與否。

41，第三步啟動客服系統的市電輸入開關，包括(客服坐席電腦、UPS設備、空調制冷等)，觀察發電機運行穩定情況，設備恢復工作情況。

42，第四步啟動備UPS設備、市電照明的市電輸入開關，觀察發電機運行穩定情況，備UPS主機工作穩定情況，網絡設備的工作正常與否。

43，⑷發電機啟動，市電輸入正常后，網管將降溫系統的抽排風設備關閉，與運維同事進行所有設備的運行進行全面的檢查，確保設備已經是運行正常。

44，⑸發電機發起市電正常后，工維應急小組安排專人現場值守，及時關注發電機油量情況，同時與油品供應商確認油品配送要求及時間要求，并實時與供電部門確認市電恢復時間。

45，6)停電過程中突發事項預防: 46，⑴網管在停電時進行機房確認運行中的UPS工作組、設備組工作狀態。主/備UPS工作切換是否正常，在市電中斷時UPS是否已經開始進行供電保護。

47，⑵值班網管對機房中的所有設備進行全面檢查，確保所有的設備已經是有主備供電，市電中斷后UPS已經正常保障設備工作。同時對機房的溫度進行觀察，溫度是否突然升高。

48，⑶停電后，UPS處于逆變工作狀態，當班人員要每隔15分鐘觀察一次UPS的蓄電池容量、帶負荷情況、機房環境溫度，盡量使蓄電池容量大于60%，帶負荷小于85%(因為已經有自購發電機應急，盡快要求短時間發起電，減少UPS的放電過度)。

49，⑷發現機房環境溫度大于26℃。當以上指標不能保證時，要及時向機房管理員匯報，同時上報責任領導知悉，網管預案小組成員經過慎重討論，適時采取關閉不必要網絡的網絡設備、加強通風降溫等措施盡量延長關鍵設備運行時間

50，三.應急發電機的油品保障措施

51，發電機正常啟動后，需要做到油品及時供應，具體保障措施方案為: 52，1.確認多家供應商進行油品供應，簽署油品供應協議，確保油品的供應充足。

53，2.油品的供應以應急小組成員通知后開始準備，協議要求是6小時內送貨到場。54，3.只要進行發電一小時以上，則必須在停止發電后補充滿油品，確保發電機隨時都是滿配油品保障中。

55，4.油品的零購是屬于公安部門的監管，所以分公司提前將資料向公安部門報備，在公司因為特殊原因有零購油品需求，在公安部門已經有分公司備案資料下，每次使用零購油品進行公安部門蓋章申請。可以隨時進行購買。

56，四.恢復交流電后的處理措施

57，1.打開電力室和網絡機房空調市電開關，并將調節溫度設定為20℃。首先恢復機房制冷系統的正常工作。

58，2.等供電穩定后(一般在恢復市電10分鐘后)，閉合主/備UPS設備空氣開關，恢復給主/備UPS交流供電。觀察并確認UPS轉換為交流穩壓和浮充狀態。

59，3.閉合客服系統的主空氣開關，恢復客服系統的交流供電，并觀察設備工作運行情況。

60，4.觀察10分鐘后，確保所有網絡及設備、UPS設備組工作穩定后，將發電機停止發電，并將情況報告給調度及主管領導。

61，5.應急小組將發電的物資進行收拾整理存放好，并進行記錄發電機的工作時間及油/水/電路的切斷。機房的降溫設備的關閉確認及物資收拾整理存放好。62，6.將處理情況做詳細書面記錄，請相關人員簽字確認并報集團公司信息化系統管理平臺上填寫相關記錄。

63，五.發電機的日常維護措施

64，對于柴油發電機來說，由于它不是日常的主要供電設備，所以日常的維護保養主要包括以下幾個方面：

65，1.定期檢查和更換柴油過濾器和機油過濾器

66，2.定期清理檢查進氣過濾器，并在固定的周期進行更換(或者根據現場的工況和進氣過濾器的透氣程度進行更換)67，3.定期檢查和清理電池組接線柱，保持接線柱清潔

68，4.定期檢查電池組的充電狀態，保證良好的充電效果

69，5.定期檢查風扇皮帶的狀態，確保無損傷和處于正常的松緊度

70，6.定期檢查冷卻液的狀態，確保滿足要求

71，7.定期檢查或者更換柴油機機油，確保油位正常

72，8.冬天寒冷季節要確保機組預熱裝置正常工作，以便在需要啟動發電機時能正常啟動

1.機房工作人員應具備用電常識，了解機房供電布局、開關位置、設備供電來源等，機房工作時間注意用電安全和自身安全。

2．機房工作人員不得私自更改設備供電線路，對自己所管設備進行斷電操作時不能影響其他設備供電，新增設備需要供電應由機房電力管理員統一調配。

3.機房禁止使用高溫、熾熱、產生火花的大功率或危險設備，確需使用電焊、電鉆等，須在電力管理員指導下用電。

4.工作時發現用電安全隱患如漏電、火花、設備異常發燒等現象，應立即報告機房電力管理員，并協助進行處理。

5、機房停電需要啟用內部發電系統時，設備管理人須在場及時檢查自管設備是否正常供電。

6、機房電力管理員應定期對機房供電設備、線路、電源、開關等相關設備進行安全檢查，及時排除用電安全隱患。

1.綜述 為盡量避免機房內電力意外事故，以保障人身安全、防止設備損壞及影響供電系統等為目的。規范數據中心機房設備加電、日常操作的用電安全防護措施，制定本文檔。

2.范圍 本文檔適用于北京移動數據中心所有機房（菜市口、望京、昌平、豐臺、大白樓）。

3.用電安全措施 機房日常用電安全的最高準則為確保人員安全。3.1 設備用電安全措施 3.1.1設備上架加電要求

?? 所有進入機房，需使用機房電源的設備應為正規品牌且具有3C標志（即中國強制性產品認證）中CCC+5安全認證標志或CCC+S&B安全與電磁兼容認證標志任意一個。任何自行組裝（DIY）設備不得上架加電。? 設備上架加電前應在機房外，使用非機房（生產用電）電源進行加電、開機測試，測試該設備電源組件為正常運行方可上架加電。? 不能在機房外加電測試的直流電設備，進入機房后首次加電需機房負責人，電力維護人員，中通維護人員，運維人員及客戶同時在場。? 不能在機房加電測試的其他交流電設備，進入機房后首次加電需機房負責人中通維護人員，運維人員及客戶同時 在場。? 設備上架后，加電前，由中通維護人員對機柜電源進行通路、電壓測試，測試結果正常后由客戶自行閉合對應的空開?！褚陨先我庖稽c不能達到標準，必須由機房負責人書面（包含郵件）批準。

3.1.2 設備日常操作安全措施

? 機房內應設置維護和測試用電源插座（地插、強插等），供日常維護過程中接插相關維護設備，儀器儀表等。嚴禁隨意使用機柜內電源接插。? 需要關閉電源時，不要設想電源已關閉，必須仔細檢查，確認。? 為避免靜電對設備的電子器件造成損壞，對設備進行操作時應穿著防靜電服或戴防靜電手套或佩戴防靜電手鐲。? 拿電路板時，應拿電路板邊緣，不要接觸元器件和印制電路。? 保持機柜內清潔、無塵。? 防靜電手鐲的使用方法如下：

1、將手伸進防靜電手鐲，戴至手腕處。

2、拉緊鎖扣，確認防靜電手鐲與皮膚有良好的接觸。

3、將防靜電手鐲，插入設備的防靜電手鐲插孔內，或者是用鱷魚夾夾在機柜的接地處。

4、確認防靜電手鐲良好接地。3.2.日常維護人員安全措施：

? 非電工作業人員、不具有電氣電力專業資質人員嚴禁進行任何電工作業。電工作業包括但不限于以下內容：對機房配供電設施、裝置進行安裝、維護、檢查、檢修等操作。? 配供電設施、裝置的絕緣或外殼損壞，可能導致人體接觸及帶電部分時，應立即停止使用，并及時修復或更換。? 移動用電設備、打開用電設備外殼時必須拔掉所有電源線和外部電纜。? 確認操作區域內地面無積水、潮濕等。? 為避免出現意外，盡量不要一個人進行帶電維護。維護前應確認設備的電源開關，如發生意外，第一時間切斷對應的電源開關。

1．機房工作人員應學習常規的用電安全操作和知識，了解機房內部的供電、用電設施的操作規程，注意節約用電。

2．機房工作人員應經常實習、掌握機房用電應急處理步驟、措施和要領；在真正接通設備電源之前必須先檢查線路、接頭是否安全連接以及設備是否已經就緒、人員是否已經具備安全保護。

3．機房管理人員必須定期安排有專業資質的人員檢查供電、用電設備、設施；如發現用電安全隱患，應即時采取措施解決，不能解決的必須及時向相關負責人員提出解決。

4．機房不得亂拉亂接電線，應選用安全、有保證的供電、用電器材；嚴禁隨意對設備斷電、更改設備供電線路，嚴禁隨意串接、并接、搭接各種供電線路。

5．機房工作人員對個人用電安全負責。外來人員需要用電的，必須得到機房管理人員允許，并使用安全和對機房設備影響最少的供電方式。

6．機房工作人員需要離開當前用電工作環境時，應檢查并保證工作環境的用電安全。

7．最后離開機房的工作人員，應檢查所有用電設備，應關閉長時間帶電運作可能會產生嚴重后果的用電設備。

8．禁止在無人看管下在機房中使用高溫、熾熱、產生火花的用電設備。

9．在使用功率超過額定瓦數的用電設備前，必須得到上級主管批準，并在保證線路安全的基礎上使用。

10．在外部供電系統停電時，機房工作人員應全力配合完成停電應急工作。