網(wǎng)絡(luò)故障應(yīng)急處置制度

網(wǎng)絡(luò)故障應(yīng)急處置制度總述在數(shù)字化辦公和業(yè)務(wù)全線上化的今天，小到員工的日常辦公發(fā)郵件、開遠程會議，大到對外服務(wù)的業(yè)務(wù)辦理、核心數(shù)據(jù)存儲，所有環(huán)節(jié)都離不開穩(wěn)定的網(wǎng)絡(luò)支撐。我干了快十年運維，見過太多因為一次突發(fā)網(wǎng)絡(luò)故障沒處理好，導(dǎo)致業(yè)務(wù)停擺大半天，給單位帶來幾十萬損失，還鬧得用戶投訴滿天飛的例子。說白了，網(wǎng)絡(luò)故障不怕發(fā)生，就怕出事之后沒人管、沒人擔責、不知道該按什么流程走，亂哄哄半天解決不了問題。為了規(guī)范突發(fā)網(wǎng)絡(luò)故障的處置流程，明確各崗位責任，最大程度縮短故障時長、降低故障帶來的影響，保障單位業(yè)務(wù)連續(xù)運行和數(shù)據(jù)安全，結(jié)合我們?nèi)粘＿\維的實際經(jīng)驗，特制定本制度。本制度從總則、組織分工、事前預(yù)防、事中處置、事后改進五個維度明確要求，所有涉及網(wǎng)絡(luò)使用和運維的部門和人員都需要嚴格遵守。1總則1.1制定目的本制度的核心目的不是為了出事之后追責罰款，而是提前搭建一套清晰的處置框架，讓所有人在故障發(fā)生的時候都清楚自己該做什么，該找什么人，用最快速度恢復(fù)網(wǎng)絡(luò)運行。具體來說，第一是要提前防范常見故障，把能扼殺在萌芽里的問題提前解決；第二是故障發(fā)生后快速響應(yīng)，協(xié)同各部門力量處置，避免小問題拖成大故障；第三是保障核心數(shù)據(jù)和網(wǎng)絡(luò)安全，處置過程中不發(fā)生二次故障或者數(shù)據(jù)泄露；第四是每次故障后總結(jié)經(jīng)驗，不斷優(yōu)化我們的運維和應(yīng)急方案，避免同一個問題反復(fù)出現(xiàn)。1.2適用范圍本制度適用于本單位管轄范圍內(nèi)的所有網(wǎng)絡(luò)，包括內(nèi)部辦公局域網(wǎng)、對外提供服務(wù)的公共業(yè)務(wù)網(wǎng)絡(luò)、核心服務(wù)器網(wǎng)絡(luò)、第三方合作單位接入的專線網(wǎng)絡(luò)，也覆蓋所有參與網(wǎng)絡(luò)運維、業(yè)務(wù)運行的部門和工作人員。說白了，只要是咱們單位管的網(wǎng)絡(luò)，不管是給內(nèi)部用還是給外面客戶用，出了任何問題都按這個制度流程走，沒有例外。1.3基本原則第一是預(yù)防為主，防治結(jié)合。我們一直說最好的應(yīng)急就是不讓故障發(fā)生，所以日常的監(jiān)測維護比出事之后搶修重要一百倍；第二是誰主管誰負責，每一段網(wǎng)絡(luò)、每一臺核心設(shè)備都有明確的責任人，出事第一時間找對應(yīng)的負責人，不允許互相推倭；第三是快速響應(yīng)，先通后穩(wěn)。就是故障發(fā)生后先優(yōu)先搶通核心業(yè)務(wù)的網(wǎng)絡(luò)，再慢慢排查根源、優(yōu)化穩(wěn)定，不能為了找原因一直讓核心業(yè)務(wù)停著；第四是安全優(yōu)先，處置故障的過程中，首先要保障核心數(shù)據(jù)不泄露、不丟失，不能為了快亂改配置，引發(fā)更大的安全問題；第五是協(xié)同配合，網(wǎng)絡(luò)故障從來不是運維一個部門的事，業(yè)務(wù)部門要及時反饋情況、配合排查，必要的時候啟動業(yè)務(wù)兜底，大家一起把影響降到最低。2組織架構(gòu)與職責分工說完了基本規(guī)則，接下來得明確誰來做這件事，各自要擔什么責任，我見過太多故障處置亂套，就是因為一開始沒分清楚責任，所以這一步是整個制度的基礎(chǔ)。2.1應(yīng)急指揮小組應(yīng)急指揮小組是故障處置的決策層，組長由信息中心負責人擔任，副組長是運維主管，成員包括各業(yè)務(wù)部門的負責人。主要職責是：重大故障發(fā)生后統(tǒng)一調(diào)度全單位的資源，拍板重大處置方案，需要上報單位高層的時候及時上報，對外對接運營商、廠商等外部合作方，故障處置完成后審核總結(jié)報告和整改方案。我干這么多年的感受就是，重大故障的時候必須有一個人拍板，不然你說往東我說往西，耽誤的都是時間，指揮小組就是干這個定調(diào)的事的。2.2一線處置組一線處置組就是日常的救火隊員，由值班運維工程師組成，7*24小時輪值。主要職責是：日常監(jiān)測網(wǎng)絡(luò)運行狀態(tài)，接收業(yè)務(wù)部門的故障報障，第一時間趕到現(xiàn)場排查故障，能當場解決的當場解決，解決不了的準確判斷故障級別，及時向上升級，全程記錄故障處置的每一步細節(jié)，故障恢復(fù)后第一時間通知業(yè)務(wù)部門。一線就是第一道防線，反應(yīng)快不快，準不準，直接決定了故障的影響大小。2.3技術(shù)支撐組技術(shù)支撐組是故障處置的技術(shù)核心，由負責核心網(wǎng)絡(luò)、服務(wù)器、安全設(shè)備的高級工程師和廠商技術(shù)對接人組成。主要職責是：一線解決不了的故障，第一時間介入排查定位，負責核心設(shè)備更換、故障鏈路切換、數(shù)據(jù)備份恢復(fù)、網(wǎng)絡(luò)攻擊排查處置等復(fù)雜技術(shù)工作，事后牽頭做根因分析和整改方案制定。說白了就是疑難雜癥都交給他們來搞定。2.4業(yè)務(wù)協(xié)調(diào)組業(yè)務(wù)協(xié)調(diào)組由每個業(yè)務(wù)部門指定的網(wǎng)絡(luò)聯(lián)絡(luò)員組成，每個部門必須有一個固定的聯(lián)絡(luò)員，不能隨便換人。主要職責是：本部門出現(xiàn)網(wǎng)絡(luò)故障后，第一時間向運維報障，說清楚故障現(xiàn)象和影響范圍，協(xié)助運維排查本部門的終端、線路問題，故障影響業(yè)務(wù)的時候，及時給本部門員工和對接的客戶通報故障情況，安撫情緒，按照提前制定的兜底方案組織手工業(yè)務(wù)辦理，避免客戶跑空或者業(yè)務(wù)停擺。很多人覺得網(wǎng)絡(luò)故障就是運維的事，其實業(yè)務(wù)聯(lián)絡(luò)員配合得好，能至少省一半的處置時間，這個真的是我們多年摸出來的經(jīng)驗。3故障分級與日常預(yù)防機制想要處置好故障，首先得清楚故障到底有多嚴重，還要把功夫下在平時，盡可能不讓故障發(fā)生。3.1故障分級我們按照故障影響范圍和影響程度，把網(wǎng)絡(luò)故障分成四個等級，分級不是為了給大家定壓力，是為了對應(yīng)不同的響應(yīng)級別，別一點小故障就把所有人都叫過來，也別大故障沒人當回事。3.1.1一級特別重大故障：指全單位所有網(wǎng)絡(luò)中斷，核心業(yè)務(wù)系統(tǒng)完全無法訪問，對外服務(wù)全面停擺，預(yù)計半小時以上無法恢復(fù)的故障，比如核心骨干鏈路全斷、核心交換機整體宕機這類問題。3.1.2二級重大故障：指多個核心業(yè)務(wù)部門網(wǎng)絡(luò)中斷，對外服務(wù)部分停擺，影響上百名員工辦公或者大量用戶業(yè)務(wù)辦理，預(yù)計一小時以上無法恢復(fù)的故障，比如某一條核心專線斷了、核心業(yè)務(wù)服務(wù)器所在網(wǎng)絡(luò)癱瘓這類問題。3.1.3三級較大故障：指單個業(yè)務(wù)部門或者單個辦公區(qū)域網(wǎng)絡(luò)中斷，不影響核心業(yè)務(wù)和對外服務(wù)，只有幾十名員工辦公受影響的故障。3.1.4四級一般故障：指個別終端或者少數(shù)幾個用戶無法上網(wǎng)，不影響整體業(yè)務(wù)運行的故障，比如單個員工電腦網(wǎng)絡(luò)不通、會議室局部無線信號不好這類問題。3.2日常預(yù)防機制我們一直說“七分預(yù)防三分搶修”，日常做到位，故障能少一大半。3.2.17*24小時運行監(jiān)測：我們已經(jīng)部署了全網(wǎng)運行監(jiān)測系統(tǒng)，核心設(shè)備的CPU、內(nèi)存、帶寬、溫度，還有異常流量、端口狀態(tài)都能實時報警，值班人員每兩個小時要人工巡查一次報警信息，哪怕是半夜收到報警，也要在10分鐘以內(nèi)響應(yīng)，小問題當場處理，不能拖著。我記得好幾年前我們有個新人值班，收到機房高溫報警覺得沒事，結(jié)果沒當回事，最后把一臺核心交換機燒了，斷了三個多小時，那個教訓(xùn)真的記到現(xiàn)在，所以任何小報警都不能大意。3.2.2定期巡檢維護：每個月要對核心機房、核心設(shè)備做一次全面人工巡檢，清理設(shè)備灰塵，檢查線路接口有沒有松動，給設(shè)備打必要的安全補丁，每季度要對核心配置和備份數(shù)據(jù)做一次恢復(fù)演練，確認備份是可用的，別真出事了才發(fā)現(xiàn)備份壞了，哭都沒地方哭。用了五年以上的老化線路、設(shè)備，哪怕沒壞也要提前更換，別等出問題了再換，提前換花的錢比故障損失少多了。3.2.3冗余容錯配置：核心交換機、核心路由器、機房電源、主干鏈路都必須做冗余配置，一條鏈路斷了自動切換到備用鏈路，一臺設(shè)備壞了自動切換到備用設(shè)備，最大程度避免單點故障，這點錢真的不能省，省一點可能出大事。3.2.4基礎(chǔ)培訓(xùn)：每個季度要給運維人員做一次新技術(shù)、新故障處置培訓(xùn)，還要給所有業(yè)務(wù)聯(lián)絡(luò)員做一次基礎(chǔ)故障排查培訓(xùn)，比如網(wǎng)線松動重新插、電腦ip不對重新獲取這種小問題，聯(lián)絡(luò)員自己就能解決，不用等運維跑過去，省了很多時間。4突發(fā)故障應(yīng)急處置流程前面都是準備工作，真出事了就得按這個流程一步步來，不能亂。4.1故障接報與初始響應(yīng)不管是監(jiān)測系統(tǒng)報警，還是業(yè)務(wù)部門報障，一線值班人員必須在5分鐘以內(nèi)接報，問清楚故障發(fā)生的位置、影響范圍、具體現(xiàn)象，登記到故障臺賬里，然后第一時間開始排查。第一步先判斷是不是終端側(cè)的問題，比如是不是員工自己把網(wǎng)線碰掉了、ip錯了、wifi連錯了，這種問題當場就能解決，解決完登記清楚就可以結(jié)束了。如果確定是網(wǎng)絡(luò)側(cè)的問題，馬上判斷故障級別，四級和三級故障由一線處置，二級和一級故障馬上上報應(yīng)急指揮小組，通知所有相關(guān)人員到位。我每次帶新人都跟他們說，接報先別急著跑，先問清楚情況，很多時候跑過去發(fā)現(xiàn)就是網(wǎng)線掉了，白跑一趟不說還耽誤時間，所以初始判斷太重要了。4.2分級處置不同級別故障用不同的響應(yīng)力度，不浪費資源也不耽誤事。4.2.1四級一般故障：要求一線工程師在半小時以內(nèi)處置完成，恢復(fù)網(wǎng)絡(luò)，半小時解決不了的馬上升級到技術(shù)支撐組，最長不能超過兩個小時必須恢復(fù)。4.2.2三級較大故障：一線工程師必須15分鐘以內(nèi)到達現(xiàn)場排查，要求一小時以內(nèi)恢復(fù)，一小時解決不了的馬上升級，同時通知業(yè)務(wù)聯(lián)絡(luò)員告知本部門員工，做好暫時手工辦公的準備。4.2.3二級重大故障：一線接報后5分鐘以內(nèi)上報指揮小組，技術(shù)支撐組10分鐘以內(nèi)到位，先切換備用鏈路或者備用設(shè)備搶通核心網(wǎng)絡(luò)，同時排查故障原因，業(yè)務(wù)協(xié)調(diào)組馬上通知相關(guān)業(yè)務(wù)部門，啟動業(yè)務(wù)兜底方案，比如線上辦不了的業(yè)務(wù)先給客戶做手工登記，后續(xù)再補錄，盡量不讓用戶白跑，減少投訴。4.2.4一級特別重大故障：所有應(yīng)急小組人員必須30分鐘以內(nèi)全部到位，指揮小組統(tǒng)一指揮，嚴格按照“先搶通、后修復(fù)”的原則，先把核心業(yè)務(wù)的網(wǎng)絡(luò)通了，再慢慢排查根源，不能為了找原因一直讓業(yè)務(wù)停著。如果是運營商骨干網(wǎng)出問題，馬上聯(lián)系運營商的應(yīng)急對接人催促搶修，我們這邊同時做好內(nèi)部調(diào)整，盡可能恢復(fù)部分業(yè)務(wù)。指揮小組要第一時間上報單位高層，同步故障情況和處置進度。4.3故障隔離與安全防護如果是病毒感染、網(wǎng)絡(luò)攻擊這類安全類故障，第一步必須先隔離受影響的區(qū)域，比如某個部門中了勒索病毒，馬上把這個部門的網(wǎng)關(guān)切斷，不讓病毒擴散到核心服務(wù)器區(qū)域，再慢慢排查處置，絕對不能上來就亂改配置，把整個網(wǎng)絡(luò)都弄癱了。處置過程中要做好核心配置的備份，改壞了還能改回來，不能忙中出錯。4.4處置過程記錄不管什么級別的故障，處置過程的每一步都要記清楚，什么時候發(fā)生的故障、什么時候接報、什么時候排查出原因、用了什么處置方法、什么時候恢復(fù)的、影響了哪些業(yè)務(wù)、影響了多長時間，都要寫得明明白白，哪怕忙得團團轉(zhuǎn)也要隨手記，不然忙完了就忘，事后復(fù)盤啥都剩不下，白出一次故障。5事后復(fù)盤與持續(xù)改進故障恢復(fù)了不是結(jié)束，只有從故障里學(xué)到東西，才能避免下次再犯同樣的錯。5.1故障總結(jié)報告故障恢復(fù)后三個工作日以內(nèi)，技術(shù)支撐組要拿出完整的總結(jié)報告，寫清楚故障發(fā)生的原因、處置過程、造成的影響、處置過程中存在的問題，一級二級故障還要組織全應(yīng)急小組開總結(jié)會，所有人都說說這次處置哪里好哪里不好。5.2根因分析與整改找原因不能只找表面原因，要找根本原因，比如看著是交換機壞了，其實是機房空調(diào)老化降溫不夠，導(dǎo)致交換機過熱燒壞，那整改就不能只換交換機，還要換機房空調(diào)，不然過三個月還得壞。我之前就吃過這個虧，同一個地方同一個故障三個月出了兩次，就是第一次只換了設(shè)備沒改根源，所以現(xiàn)在我們要求必須找到根因才能結(jié)束，整改要明確責任人和完成時間，到期必須檢查整改有沒有落實。5.3應(yīng)急演練每半年必須組織一次全流程的應(yīng)急演練，模擬不同類型的故障，比如主干網(wǎng)斷了、核心交換機壞了、遭受網(wǎng)絡(luò)攻擊，讓所有部門都參與進來，練完了找問題，優(yōu)化預(yù)案。我真的覺得演練太重要了，練過一次和沒練過真的不一樣，練過之后真出事，大家的反應(yīng)速度能快一倍都不止，不會手忙腳亂不知道該干嘛。5.4考核與激勵對處置及時、方法得當，成功把大故障化解成小問題、減少了損失的團隊和個人，我們會給獎勵和評優(yōu)優(yōu)先。對因為日常維護不到位、接到故障不及時響應(yīng)、拖延處置導(dǎo)致?lián)p失擴大的，我們會按規(guī)定追究責任。但也說好了，誰也沒法保證百分百不出故障，如果確實是不可抗力，或者是之前沒遇到過的新故障，只要按流程走了，就不會追責，主要還是總結(jié)經(jīng)驗，不是為了罰人，這點大家可以放心。結(jié)