第一篇：機房斷電應急措施

機房斷電應急方案

第一條：機房意外停電后，首先確定停電的范圍以及受影響的設備范圍。

第二條：確認停電的范圍為本公司或本機房，應立即聯系工機科電話匯報。估算電力可能恢復的時間，并通知直接上級。

第三條：如果確認停電的時間在1個小時內，可以在UPS正常供電的時間內，等到電力恢復。如果不能確認在2個小時內恢復供電，需及時到達現場。做好各設備的電源停電準備。在UPS供電達1.5個小時后，嚴格按操作手冊停掉存儲和各應用服務器的電源，最后停核心交換機和路由期。等待電力恢復，電力恢復供電后轉第七條執行。如果確認停電的范圍僅在于本機房電源故障，立即匯報給機房電源維護負責人。

第四條：機房維護負責人將掉電的電源柜總空開和分空開的狀態處于下電狀態。并向直接領導匯報，馬上聯系相關廠家，如有可能請廠家立即到現場支持。第五條：將掉電的所有的設備電源狀態處于下電狀態，以防止電源柜加電對設備的沖擊。

第六條：等各廠家和相關的人員到齊后，商議設備恢復時因注意的事項，并形成相關文檔。

第七條：電力室恢復供電后，先不要急于給電源柜加電，等待10—20 分鐘后，再開始給電源柜加電，以防止供電不穩或再次掉電。

第八條：供電正常后，確定設備處于下電狀態后，打開電力柜的總控開。第九條：根據設備加電順序，啟動分項空開。第十條：設備加電順序，網絡交換類設備正常后再給磁盤陣列柜加電，存儲狀態檢查正常后，啟動主機（以上各設備務必按操作手冊的啟動順序上電）。第十一條：設備啟動正常后，開始啟動數據庫。第十二條：數據庫啟動正常后，開始啟動中間件服務器。第十三條：中間件服務器正常后，啟動應用程序。

第十四條：機房設備進行全面點檢，確認所有設備運行和服務正常。

第二篇：通訊機房供電系統應急措施

通訊機房供電系統應急措施

一、編制目的

為保障我礦通訊機房各系統安全可靠運行，有效預防、控制和處理機房供電系統各類事故，維護煤礦安全生產秩序的正常進行，根據科領導加強應急管理工作的意見要求，結合通訊機房供電系統實際，特制定本應急措施

二、機房供電系統介紹：

1、機房供電電源采用雙路市電，一路來自選煤廠變電所，一路來自單宿西箱變，電壓均為380V。

2、機房設置配電柜一臺，兩路市電接入，內設電源自動切換開關，機房設備、空調系統、照明系統等負載開關均接入該配電柜。

3、機房配備兩套UPS后備電源系統：

一套為愛默生模塊電源（型號PS48400-2D/50），外接600AH蓄電池兩組，供程控交換機和調度交換機后備電源使用，在市電停電或檢修的情況下，最大工作時間為12小時。

一套為愛默生UPS電源（型號UH31-0200L），外接100AH蓄電池一組，供人員定位系統、工業環網系統、應急廣播系統、辦公網絡系統等服務器的后備電源使用，在市電停電或檢修的情況下，最大工作時間為6小時。

三、應急組織構成與職責

1、組織構成組 長：科長

副組長：通訊副科長

成 員：通訊班全體成員

2、組織職責：

① 發生停電時，立即查看機房交換機、服務器等設備是否受到影響；

② 第一時間向調度室和相關領導匯報，進行合理的風險評估； ③ 按照應急指揮人員安排和應急措施步驟迅速實施操作； ④ 收集和整理在應急反應過程中所獲得的信息，及時反饋給指揮人員，整理應急反應資料并進行歸檔留存。

四、應急措施

1、機房意外停電后，首先確定停電的范圍以及受影響的設備范圍。

2、確認為雙路市電同時停電時，應立即向調度室匯報并通知相關領導，聯系電力部門確認停電時間。

3、如果確認停電時間是在后備電源正常供電范圍以內，在UPS系統正常工作的情況下，可以等待電力恢復。

4、如果市電不能在后備電源工作時間內恢復供電，應立即通知設備相關負責人到達現場，做好設備的電源停電準備。

5、UPS電源系統啟動工作后，專業維護人員應實時使用萬用表等測量工具對蓄電池的電壓、電流各項參數進行檢查，以防后備電源運行不穩定對機房設備造成損害。

6、在UPS電源供電剩余30%容量后，市電仍不能恢復供電，應立即檢查原有機房各類設備、服務器等數據備份是否完整，及時更新留存做好停機準備。

7、在UPS電源供電剩余10%容量后，市電仍不能恢復供電，為保證蓄電池使用壽命，根據蓄電池維護相關規定，應關閉機房所有用電設備，停止UPS系統供電，等待電力恢復。特殊情況下，為保證重要數據留存，經申請有關領導批準后，可以將電池容量使用放盡。

8、機房設備關閉以后，應將所有設備電源開關處于關閉狀態，以防止配電柜突然加電對設備造成電流沖擊。

9、電力室恢復供電后，不能立即啟動機房用電設備，應等待10分鐘后，再陸續啟動，以防止供電不穩或再次掉電。

10、當機房交換機、服務器等設備啟動運行后，應仔細觀察設備運行狀態是否正常，數據加載是否正常。檢查確認UPS系統是否轉換為交流穩壓和浮充狀態，測量蓄電池的電壓、電流等各項參數是否正常，確保沒有任何異常之后，認真做好應急處理記錄，方可離開現場。

第三篇：通風機房掉電司機應急措施

通風機房意外掉電應急措施

正常情況下，通風機房是由一個回路供電，另一個回路熱備用，聯絡柜斷路器處于合閘狀態，當供電回路出現故障意外掉電時，若掉電的高壓柜上綜保顯示過流二段跳閘，可以試送一次，若顯示過流一段跳閘或者不明原因跳閘，嚴禁試送電。其中一人要立即匯報區值班，同時另一人按照操作規程將供電回路倒至另一路進線，開啟停運風機，具體操作步驟如下：

一、單回路掉電

1、風機工頻運行

（1）合備用回路進線柜斷路器并拉出故障進線柜斷路器；（2）合風機房10KV聯絡柜斷路器；

（3）按操作規程啟動停運風機，先啟動稀油站，再先后啟動后級電機和前級電機。

2、風機變頻運行

（1）合備用回路進線柜斷路器并拉出故障進線柜斷路器；（2）合風機房10KV聯絡柜斷路器；（3）合變頻電源柜斷路器；

（4）按操作規程啟動停運風機，先啟動稀油站，再通過上位機或變頻器觸摸屏啟動兩級電機，啟動電機前要注意設定的啟動頻率。

二、雙回路掉電

（1）若通風機房內兩個回路均掉電，要立即查看高壓柜上顯示的故障類型，再按照此應急措施恢復供電并匯報區值班室。（2）若掉電原因是由35KV變電所引起，要立即匯報安全生產調度中心和區值班，同時聯系35KV變電所，等待變電所供電后再按照此應急措施恢復原來的供電方式。

第四篇：分行29、9.30機房斷電事故調查報告

分行9.29/9.30中心機房斷電事故

調查報告

省分行信息技術管理部：

2011年9月29日12點50分及2011年9月30日8點10分，分行中心機房（以下簡稱機房）接連發生兩次斷電事故，造成郴州分行全轄所有業務分別中斷45分鐘、14分鐘。經調查，確定如下調查結果：

1、機房UPS系統為一主一備供電模式，其中UPS1（主機）異常，在主路輸入停止，電池放電完畢后自動切換旁路失敗，導致UPS2(備機)供電無法送至負載；

2、UPS電池損壞，其中UPS1電池幾乎完全失去功能，在輸入熔斷器燒壞后無法支持UPS繼續供電；

3、機房存在鼠患，在UPS輸入配電柜開關上發現老鼠尸體；

4、機房強電布線非常不規范，從機房配電柜至供電開關間布線凌亂；

5、9月29日斷電發生時，給機房供電的兩路市電其中一路變壓器掉了一相電，同時UPS1燒壞一個輸入熔斷器；

6、9月30日斷電系東方萬象工程師在未獲得我行人員許可的情況下對UPS1進行放電操作，導致與9月29日同樣原因的掉電事故。現將具體調查情況報告如下：

一、事故現場調查情況 1、9月29日中午12：51分，技術員發現機房斷電，網絡通訊中斷，同時發現UPS設備出現告警，UPS1整流器、逆變器指示燈為紅色，旁路與輸出指示燈均為綠色。UPS2整流器、逆變器、輸出指示燈均亮綠燈。立即通過電話與UPS維保商東方萬象技術員聯系,在維保商技術員的指導下，手動關停主機Q1（主路輸入）、Q4（旁路輸入）、Q5（輸出），開啟Q3（維修旁路），負載由UPS2提供電源，供電恢復。

技術員后來發現由電業局提供的國家電網機房專線輸入變壓器跌落保險掉了一相。2、9月29日19：00，UPS維保商東方萬象從武漢抵達現場檢修UPS主機，斷開UPS1電池開關，發現主輸入熔斷器損壞，其它元器件無異常，用導線臨時替換熔斷器（已損壞的），按順序閉合Q1、Q4、電池開關、啟動逆變，在Q5（此時為斷開狀態）輸入端測得正常電壓，設備運行正常。

9月30日凌晨4時左右，UPS維保商東方萬象工程師周勁松攜帶熔斷器配件。3、9月30日8：10分，東方萬象工程師姜國清、周勁松關UPS1電池開關、關Q1、Q4，更換保險，合Q1、Q4，測得電池浮充電壓404V，合電池開關，測得逆變后端電壓正常。合Q5，看顯示面板旁路電壓正常，斷Q3，啟動逆變，負載切換到主機，全部恢復正常工作模式，4、隨后，東方萬象工程師姜國清、周勁松在未征求同意的情況下，擅自做UPS1放電測試，斷開Q1，觀察電池電壓，發現電池電壓瞬間由406V掉至362V，欲合上Q1時發現負載已經掉電，于是立即斷開Q5，閉合Q3，發現負載仍然沒電。郴州分行技術人員發現UPS輸出配電柜三個施耐德20A單相空氣開關跳閘（分別為網絡機房、服務器機房、操作間供電開關），復位后機房負載恢復正常。

此時機房狀態為：UPS1的Q1、Q4、Q5開關斷開，Q3開關閉合，UPS2正常，機房負載由UPS2通過UPS1的維修旁路供給。

二、事故原因調查情況

2011年9月30日24點，管理部工程師梁承山與東方萬象負責人曾志雄抵達，進行事故原因調查。10月1日凌晨1點至4點，在主持下，對29日、30日發生的UPS故障現象及處理過程進行了仔細的回顧與分析。根據掌握的情況，在向省分行信息技術管理部匯報后，確定于10月1日晚對故障UPS進行全面檢修及故障排查。10月1日下午，經由省分行向總行申請了故障排查的窗口時間。

10月1日22：00，梁開始對設備進行故障排查檢修，過程如下： 1、22：00，測量三個跳閘的空氣開關輸出電流分別為：20A、13.5A、10:21A，開關下端接頭較松。判斷機房負載即將達到空氣開關容量上限，在電網出現波動時容易發生跳閘現象。

2、在UPS輸入配電柜備機輸入開關處發現死亡老鼠一只（取出后發現老鼠全身完全干枯），UPS輸出配電柜輸出開關及電纜上發現有其他老鼠死后留下的油污。

3、檢查跳閘空開后端沒有發現UPS電源插座接非計算機設備。

4、閉合UPS1的Q4開關，測UPS1的Q5（輸出）開關輸入端電壓為399V,401V,399V,50HZ（此時UPS1的Q1(主路輸入)、Q5（輸出）是斷開的，Q4（旁路輸入）、Q3（維修旁路）、電池開關是閉合的）。判斷UPS1的靜態旁路是導通的。

5、閉合UPS1的Q1開關，啟動逆變后，逆變正常，測Q5輸入端電壓為382V,383V,382V,50HZ。判斷UPS1的逆變正常。

6、23：00點報告省分行運行中心，主動關停網絡設備、前臵機。

7、斷開UPS輸入配電柜上的UPS1輸入開關M1，觀察電池在低負載（3A）情況下電壓下降非常明顯，之后斷開UPS1的電池開關，UPS1顯示面板顯示UPS1已經自動切換旁路，旁路輸出電壓為399、399、399V，經實際測量Q5輸入端電壓為12.45V、12.53V、12.85V（感應電壓，實際供電沒有通過靜態旁路送至Q5）。此時再測量Q4輸入端電壓為 402V、403V、397V，輸出端電壓為399V、402V、400V。證明UPS2供電正常，并已經到達UPS1的Q4，但是并沒有通過UPS1D 靜態旁路到達Q5。判斷UPS1自動切換旁路存在故障。

8、將供電恢復正常模式：備機為正常開機狀態，將主機Q1、Q4、Q3、Q5斷開，停機后按正常流程開機，此時機房供電模式恢復為正常狀態，測量UPS1的Q5輸出端電壓為382.2V、382.6V、382.2V。判斷UPS1逆變輸出正常。

9、斷開UPS輸入配電柜上的UPS1輸入開關M1，斷開電池開關（完全模擬事發時現場現象），UPS1面板顯示“電源1超限，UPS內部故障，負載切換故障（只顯示一次，再次查看即無此條報警）”，查看UPS1電壓狀態顯示：電源2電壓394V 397V 392V 負載電壓394V 397V 392V，實際測得Q5輸出端電壓為6V、7V、8V，Q4輸入端電壓為402V、402V、402V，輸出端電壓為402V、402V、402V。此時UPS1 的整流器指示燈、逆變器指示燈為紅色，旁路指示燈與輸出指示燈為綠色，同時三個施耐德20A的空氣開關跳閘。再次驗證UPS1的自動切旁路功能存在故障。

10、再次重復步驟9，得出同樣結果，此時可以確認UPS1的自動切旁路功能存在故障。

11、將供電恢復正常模式：備機為正常開機狀態，將主機Q1、Q4、Q3、Q5斷開，停機后按正常流程開機，此時機房供電模式恢復為正常狀態。

12、斷開UPS2的Q1開關（時間12：13），電池開始放電，隨后斷開UPS2電池開關，UPS2顯示自動切換為旁路，實際測得UPS2的Q5輸出電壓401V 401V 397V。判斷UPS2自動切換旁路正常。13、10月2日凌晨1：00，恢復正常供電模式，然后斷開UPS1的Q1開關、電池開關、Q5開關、Q4開關，閉合Q3開關，將供電模式恢復為UPS2的逆變輸出通過UPS1的維修旁路給機房供電。此時負載恢復供電。

14、啟動網絡設備、前臵機、測試網絡正常、前臵機通訊控件正常。

經過以上操作測試，確定是由于UPS1主機內部存在故障，導致UPS1自動切換旁路異常，UPS2供電無法通過UPS1靜態旁路向負載輸出，最終導致機房設備斷電。

三、應急處臵方案

由于郴州分行中心機房使用的UPS年限過長，全面維修所需的配件難以在短時間內備齊，維保商東方萬象公司無法確定對UPS1進行全面維修的時間。為降低郴州分行中心機房的動力風險，經省分行信息技術部領導的批準，省分行信息技術管理部梁承山工程師、東方萬象工程師、郴州分行信息技術部共同確定了將郴州分行中心機房UPS主備機互換的應急處理方案，由于UPS1的逆變輸出是正常的，將UPS主備機互換，可以達到UPS設備備份的應急目的，臨時提高機房供電安全系數。應急處理方案于2011年10月3日凌晨2時至6時實施。

（1）10月3日02：00開始，關閉所有負載，斷開負載的輸入開關。

（2）斷開UPS2的輸出開關Q5,斷開Q4，斷開電池開關和Q1。斷開UPS1的維修開關Q3。

（3）拆開UPS1與UPS2的輸入輸出接線的前擋板。（4）拆除UPS1輸出開關Q5輸出端導線連接頭，標記為“UPS總輸出”。

（5）拆除UPS2的主輸入Q1至靜態旁路Q2輸入端的連接線，用該導線將UPS1的主輸入端Q1與靜態旁路Q2輸入端按相同相序連接。

（6）將UPS1靜態旁路Q4輸入端導線連接頭拆除，按相同相序連接至UPS1輸出Q5輸出端。

（7）將UPS2輸出開關Q5輸出端導線連接頭拆除，按相同相序連接至UPS2靜態旁路Q4輸入端。

（8）將標記為“UPS總輸出”的導線連接頭按拆除前相同相序與UPS2Q5輸出端連接。

（9）將三個跳閘的施耐德20A單項空氣開關更換為施耐德32A單項空氣開關。

轉換后示意圖為：

確認改接正確后。合上UPS1與UPS2的輸入輸出接線的前面擋板，按照正常開機程序分別開啟現UPS1與UPS2，完成UPS1與UPS2的轉換工作。

全部轉換工作需在10月3日清晨6時前完成。

2、應急方案的實施過程

10月3日凌晨2點整，在向省分行運行中心匯報后，嚴格按實施方案逐步實施。

3、應急方案實施后的結果

10月3日04：40，應急方案實施完畢。現場進行UPS1、UPS2性能測試過程如下：（1）斷開UPS2市電輸入配電柜開關M2，再斷開電池開關，測量UPS2自動旁路轉換正常，負載由UPS1作為備機通過UPS2的靜態旁路輸出給負載；

（2）恢復UPS2正常狀態，此時UPS2作為主機正常供電，UPS1成功成為UPS2的備機。

（3）開啟網絡設備、前臵機。經現場測試： 特此報告。

二O一一年十月三日

第五篇：機房應急預案

應急處置方案

第一節 總 則

1、保證人員和財產的安全為前提的原則：在由于火災或電力問題造成的主機故障，在解決故障前，應以保證人員的生命安全和財產的安全為前提，然后進行故障的解決。

2、最快時間恢復業務的原則：本著先想盡一切方法，盡快恢復業務的原則來處理故障，如在有備用設備的情況下，主設備產生了故障，應先盡快將應用切換到備用機上，使業務能夠運行，再對故障設備進行診斷和維修。

3、故障應急人員高度負責的原則：當故障應急人員在節假日接到故障通知時，本著高度負責的態度，應迅速接手處理障礙，如遠程無法處理解決，應迅速趕到故障設備所在地，進行現場處理，處理故障的同時應及時向領導匯報。應急人員不可互相推卸責任，如因特殊情況，確實無法處理障礙，部門領導必須安排好其他人員處理。

4、盡可能全面的保留故障現場的原則：當故障發生后，應急人員應盡可能全面的備份出能夠反映故障現象的各種日志、記錄、受損文件等，便于業務恢復后，對故障的分析、解決，杜絕故障的再次發生。

應急方案的目標：保證預付卡運營系統連續安全穩定地運行。

第二節 應急領導小組

應急領導小組成員：

組 長： 副組長: 成 員：

第三節 電源系統故障應急處理

定期檢查信息中心機房電源設備的運行狀況，當發生下列突發事件時，按以下方案進行處置：

當中心機房發生市電供電突然停電或遠程報警電源異常時。首先確認是否為正常停電及預計停電時間。檢查不間斷電源的電池可供電時間，需在不間斷電源供電時效內關閉所有服務器及網絡設備。

聯系工程部查看停電原因，盡快恢復供電，并將情況報告相關領導

工程部聯系電話：

第四節 空調系統故障應急處理

定期對空調的運行情況進行檢查，如有報警信息，應及時查找故障原因，對于不能自行排除的問題，應及時與設備提供商進行聯系。

當中心機房主空調因故障無法制冷，致使機房內環境溫度超過攝氏40度時，打開機房房門，并關閉所有服務器及網絡設備。對于無法自行處置的空調系統異常情況，及時與設備提供商聯系，并報告公司領導。空調問題聯系人：

第五節 中心機房自動消防系統應急處理

當中心機房發生火警時，按以下方案進行處置：

1.上班工作時間發生火警，聽到自動消防系統發出的聲光報警后，中心機房附近辦公室人員應及時緊急撤離，避免氣體自動消防系統啟動后，消防氣體對附近人員造成人身傷害。確認火警后，立刻撥打119報警，并說明盡量使用氣體滅火器進行滅火，減少電子設備的損壞。

2.發生火警后，信息中心相關人員應馬上趕赴現場，并向有關領導報告事故情況。同時立即聯系聯通等相關公司，及時評估事故損失情況，研討盡快恢復信息系統正常運行的最佳方案。安保消防中控電話：

第六節 設備、網絡系統故障應急處理

設備、網絡應用系統故障應由發現人通知技術部，技術部門立即檢查故障，進行初步故障定位,解決；

1．網絡設備、服務器、儲存設備均有備份，當設備存在硬件問題時，可隨時把業務切換到備份主機上，保證業務正常運行； 2．應用系統每更新一次則做一次遠程備份，在遠程主機上分別備份舊的應用系統和更新后的應用系統，以當天的更新日期命名； 3．對磁盤柜上的數據庫文件有定時任務，每天凌晨4：00會把數據庫里的數據文件倒出到遠程備份主機上，以確保磁盤柜出現硬件故障的時候，數據文件不丟失；對于網絡、應用系統出現硬件方面的故障，比較嚴重的問題，對業務的正常運行造成較大的影響，立即向有關領導報告。

4、網絡中有監控服務器，運用Cacti v10最新的版本，監控網絡所有設備（路由器，防火墻，交換機以及服務器設備）；對設備本身的硬件檢測、外部入侵檢測、外部攻擊等多種對系統不利因素以發送mail的形式報警；相關人員收到報警信息，分析收到的log日志以做出相應的處理。

5、每周周五對網絡設備進行日志及配置文件采集，對數據庫數據文件定期下載，和遠程備份；在本地電腦上保存最近的配置文件，以便在發生毀滅性的災難時，用來重組。

對簡單故障，運維人員應迅速排除故障，解決問題并記錄。如果需要更換設備，應上報有關領導,經批準后馬上更換故障設備，盡快恢復網絡、應用系統運行。運維部門判斷無法及時修理時，應立即通知相關的系統運行服務提供商，在最短的時間內安排修理或更換系統。

如發現屬外部線路的問題，應與線路服務提供商聯系，敦促對方盡快恢復故障線路。

啟用備份線路、設備、系統，迅速恢復相關的應用。

聯通聯系電話：

第七節 黑客入侵的應急處理

發現網絡上有黑客攻擊行為，任何人員都有義務向技術部門報告。技術部立即啟動應急響應，切斷受攻擊計算機與網絡的連接，停止一切操作、保護現場，并上報有關領導。

對于黑客攻擊，由計算中心組織應急響應專家小組查找入侵蹤跡，分析入侵方式和原因。由安全管理員根據對入侵事件的分析，組織相關人員對內部網計算機整改，防止黑客用同樣的手段再次入侵其他系統。安全管理員檢查確定無安全隱患后，才可將受攻擊計算機重新連接網絡，或啟用備份計算機來恢復應用。

安全管理員應做好記錄，保護現場，進行日志收集等工作。如果能追查到攻擊者的相關信息，可以對其發出警告，必要時可以采取進一步的行動，乃至采取法律手段。根據破壞程度，經有關領導同意后，上報公安部門。

若系統已被黑客破壞，無法恢復，應將受黑客攻擊的計算機上的重要數據備份到其他存儲介質，確保計算機內重要的數據不丟失。如果數據無法恢復，經有關領導同意后，可與國家指定的部門聯系，由他們來協助恢復，為保證數據信息安全，需在安全管理部門作記錄。

第八節 生產系統、數據庫故障處理

生產系統出現故障，技術部做出應急處理

1.因軟件設計缺陷、設計漏洞等引起的故障，通知公司研發部門在2小時內查明原因，解決問題。

2.數據庫出現故障，運維人員應在2小時內查清故障原因，其他相關部門應積極配合，解決問題。

3.如出現數據丟失情況，確認不能自行恢復后，啟用備份恢復數據，24小時內恢復運營。

本方案自發布之日起施行