近日，華青融天戰(zhàn)略拓展總監(jiān)王旭在內(nèi)部分享活動中針對IT運維的九重重要保障進(jìn)行了詳解。

　　我們的生活和工作，越來越依賴于IT系統(tǒng)，無論支付、辦公、吃穿住行……離了互聯(lián)網(wǎng)和軟件，一天也玩不轉(zhuǎn)。當(dāng)然，與前端應(yīng)用日益豐富對應(yīng)的，就是IT系統(tǒng)后臺的日益復(fù)雜、運維工作的日益困難。

　　如果你是某單位的IT運維人員，那么下面這些狀況一定不陌生：

　　-周一，網(wǎng)絡(luò)部門做了負(fù)載均衡的升級，業(yè)務(wù)部門反饋偶爾出現(xiàn)業(yè)務(wù)響應(yīng)慢，是升級的問題還是應(yīng)用系統(tǒng)的問題?

　　- 周三，文檔系統(tǒng)進(jìn)行了硬件遷移，用戶發(fā)現(xiàn)文檔系統(tǒng)的頁面打不開，是網(wǎng)絡(luò)問題?服務(wù)器問題?還是應(yīng)用問題?

　　- 周日，大量用戶投訴辦理業(yè)務(wù)卡頓，系統(tǒng)的架構(gòu)非常復(fù)雜，毛病出在哪兒?

　　業(yè)務(wù)部門和用戶眼巴巴等著，你怎么辦?如果短時間找不到問題原因，搞不定系統(tǒng)，那這個鍋你算背定了。其實，在很多單位，IT運維部門基本就是專業(yè)背鍋俠。

　　尤其是，IT監(jiān)控技術(shù)已經(jīng)從傳統(tǒng)的NPM(網(wǎng)絡(luò)和基礎(chǔ)設(shè)施監(jiān)控)進(jìn)化到APM(應(yīng)用監(jiān)控)，從數(shù)據(jù)為中心進(jìn)化到業(yè)務(wù)為中心，上面三個例子，都必須由APM技術(shù)出馬搞定。

　　今天，就來聊聊IT運維技術(shù)的天下大勢，教你怎樣練就一身張無忌般百毒不侵的九陽神功，重重進(jìn)階，金剛不壞。

　　九陽神功第一重：氤氳紫氣

　　當(dāng)下將“九陽神功”的練法和口訣傳了無忌......丹田里的真氣似香煙繚繞，悠游自在，那就是所謂“氤氳紫氣”。——《倚天屠龍記》

　　何謂紫氣?正所謂紫氣東來，數(shù)據(jù)來源是也。要想洞察IT系統(tǒng)的運轉(zhuǎn)情況，監(jiān)控數(shù)據(jù)的來源當(dāng)然是基礎(chǔ)。這就是九陽神功第一重。

　　采集IT系統(tǒng)的運行信息，有哪些主流技術(shù)?大致有四種：agent、代碼植入、主動探測和今天要講的旁路流量抓包。

　　簡單講講前面幾種技術(shù)的弊端：agent曾經(jīng)非常流行，但它要求在業(yè)務(wù)服務(wù)器上安裝和運行新的軟件，本身就會消耗服務(wù)器的性能;代碼植入，要求對被監(jiān)控的應(yīng)用系統(tǒng)進(jìn)行改造，植入監(jiān)控代碼，這對很多動輒幾十套、上百套應(yīng)用系統(tǒng)的大型單位來說不可能;主動探測，與前兩者類似，也是一種消耗系統(tǒng)資源的方法。總之，這三種都是帶有一定“侵入性”的技術(shù)。

　　而旁路流量抓包技術(shù)，是近年來出現(xiàn)的一種新的監(jiān)控技術(shù)，從網(wǎng)絡(luò)設(shè)備的鏡像端口把服務(wù)器之間的流量直接導(dǎo)出，接入單獨的監(jiān)控系統(tǒng)，完全不消耗業(yè)務(wù)服務(wù)器的資源，也不需要做應(yīng)用系統(tǒng)的改造，是一種非侵入性的技術(shù)。

　　而且數(shù)據(jù)包是最真實的，做不得一點假。通過反向工程，從數(shù)據(jù)流中重建應(yīng)用系統(tǒng)之間的一切交互，計算指標(biāo)，發(fā)現(xiàn)問題。

　　上圖就是交換機(jī)SPAN抓包技術(shù)，通過交換機(jī)流量拷貝到一個新的端口，獲取所有被監(jiān)控系統(tǒng)之間的數(shù)據(jù)流。當(dāng)然還有很多技術(shù)，如為了提高性能可以引入多臺TAP SWITCH，以后有機(jī)會再談。

　　采用流量抓包技術(shù)做APM監(jiān)控的，目前國外主要有Compuware、Riverbed APM等，在國內(nèi)很多大型機(jī)構(gòu)有使用。國內(nèi)廠家中，掌握這種技術(shù)的不多，華青融天的EZSonar(鷹眼平臺)是毫無疑義的扛把子。作為國內(nèi)廠商當(dāng)然具有價格實惠、定制開發(fā)靈活等優(yōu)勢，而系統(tǒng)的品質(zhì)也并不弱于國外同行。

　　九陽神功第二重：易筋洗髓

　　易筋洗髓是為深厚內(nèi)功，得此功猶入無人之境。——《倚天屠龍記》

　　修煉到第一重，獲得了旁路數(shù)據(jù)流量，只是具備了監(jiān)控的基礎(chǔ)，怎樣解析它，讓數(shù)據(jù)包說話，從中重建出各個應(yīng)用系統(tǒng)之間的信息流，計算指標(biāo)和發(fā)現(xiàn)問題，才是挑戰(zhàn)所在。

　　經(jīng)過系統(tǒng)的報文解析，將雜亂的數(shù)據(jù)流轉(zhuǎn)化為規(guī)范的信息項，正所謂易筋洗髓，改頭換面，呈現(xiàn)出所有應(yīng)用交互信息和指標(biāo)的本來面目。

　　很多大型商業(yè)機(jī)構(gòu)如銀行、證券、運營商等，動輒幾十上百套應(yīng)用系統(tǒng)，有些是標(biāo)準(zhǔn)的商業(yè)軟件，有些是國內(nèi)定制開發(fā)的行業(yè)軟件，它們的數(shù)據(jù)報文格式五花八門，猶如進(jìn)了聯(lián)合國，要求監(jiān)控系統(tǒng)必須有幾百種語言的同聲傳譯水平。而且性能也是一個關(guān)鍵挑戰(zhàn)，因為每秒都有若干GB的流量洶涌而來，能否及時地解析它們，要求軟件的流量工程能力極強(qiáng)。

　　例如，上面就是一段報文。肉眼一看，如看天書 。但是如果解碼引擎合理地配置了報文解碼規(guī)則，就像大腦內(nèi)置了一本強(qiáng)大的字典，就能解碼報文背后的應(yīng)用信息，進(jìn)而計算出各種指標(biāo)。

　　有哪些常見的報文協(xié)議類型?DNS、FTP、Telnet、ICMP、Syslog、SNMP、HTTP、POP3、IMAP3、DHCP、RSYNC、NFS、RSH、MEMCHAED、REDIS、XML、Weblogic JMS、Tuxedo、XML OVER TCP、EJB、RMI、JSON、SOAP、CUPS、CTG、Oracle TNS、短信通知平臺(移動，電信，聯(lián)通)、MYSQL、DB2……

　　可見，對于一個APM系統(tǒng)的建設(shè)，應(yīng)用系統(tǒng)報文協(xié)議的解析規(guī)則是重要一環(huán)。一方面，開發(fā)商需要具有深厚的積淀，具備豐富的報文解析規(guī)則庫，能解析常見的商業(yè)軟件;同時，建設(shè)單位需要提供自身的定制化系統(tǒng)的報文規(guī)則，供系統(tǒng)配置補(bǔ)充，這方面也必須方便易用。

　　九陽神功第三重：至陽熱氣

　　至陽熱氣，全力施展可將人焚為焦炭，專門克破所有寒性和陰毒內(nèi)力。——《倚天屠龍記》

　　天下武功，唯快不破。

　　如果系統(tǒng)已經(jīng)出現(xiàn)了性能劣化，甚至應(yīng)用已經(jīng)宕機(jī)，你肯定不希望明天早晨才發(fā)現(xiàn)。所以，對于應(yīng)用監(jiān)控系統(tǒng)來說，性能計算和告警的時效性是關(guān)鍵，第一時間發(fā)現(xiàn)問題先兆，聽風(fēng)辨器、及時預(yù)警、防患于未然，才是運維的最高境界。業(yè)界往往把數(shù)據(jù)分為熱數(shù)據(jù)(實時)、溫數(shù)據(jù)(warm)和冷數(shù)據(jù)，對于關(guān)鍵性的業(yè)務(wù)監(jiān)控系統(tǒng)而言，對于數(shù)據(jù)的要求一定是最高熱度的，正所謂至陽熱氣。

　　例如，上面是一個金融單位的典型的業(yè)務(wù)監(jiān)控界面，每個業(yè)務(wù)板塊和業(yè)務(wù)系統(tǒng)的性能指標(biāo)實時刷新，當(dāng)某系統(tǒng)出現(xiàn)問題時，紅色告警就會閃現(xiàn)。這些性能指標(biāo)的更新和告警的判斷，要求后臺的計算引擎有著最強(qiáng)大的計算和判斷能力。

　　各位少俠要了解，告警的判斷是一個非常復(fù)雜的問題。如果僅僅是與靜態(tài)閾值相比較而觸發(fā)告警，是遠(yuǎn)遠(yuǎn)不夠的。例如，一家機(jī)構(gòu)的業(yè)務(wù)量往往具有一定的時間分布特點，如工作日較高節(jié)假日較低，上下午會各有一個交易高峰等等，只有具備智能的算法，對一段歷史時間內(nèi)的指標(biāo)進(jìn)行動態(tài)基線比對，發(fā)現(xiàn)指標(biāo)的浮動超出了一定范圍，才判斷為異動，觸發(fā)告警，提請用戶注意。

　　要做到這些，讓熱氣騰騰的性能和告警數(shù)據(jù)實時呈送到界面，就需要在秒級完成從數(shù)據(jù)流采集到報文解析到性能指標(biāo)計算和告警識別。具體技術(shù)，各村都有各村的高招，華青融天通過采取不落地的內(nèi)存計算方式，能夠保證數(shù)據(jù)的秒級處理，在近期一家金融機(jī)構(gòu)的實測中，每秒處理的交易量超過70萬筆。

　　九陽神功第四重：縮骨大法

　　他心中只一個念頭：“這小子比我高大，他能鉆過，我當(dāng)然更能鉆過。”想法原本不錯，只是有一點卻沒料到：張無忌已練成了九陽神功中的縮骨之法。——《倚天屠龍記》

　　縮骨大法者，化大為小，小中見大，見微知著也。

　　魔鬼往往在細(xì)節(jié)中。對于業(yè)務(wù)系統(tǒng)的監(jiān)控，基本的監(jiān)控粒度有多大，決定了故障定位的精度。前面給大家講過監(jiān)控系統(tǒng)的數(shù)據(jù)來源，以旁路鏡像數(shù)據(jù)流為最佳選擇，數(shù)據(jù)流中全部業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)流糾纏在一起，剪不斷理還亂，必須化大為小，從大的數(shù)據(jù)流中拆分一個個小的邏輯對象，才能鎖定真正的問題。

　　舉個例子，上面是一個的典型銀行應(yīng)用。

　　粗看起來，每分鐘2000筆的交易量，平均響應(yīng)時間100ms，成功率90%，響應(yīng)率90%，看起來還不錯。大部分業(yè)務(wù)監(jiān)控系統(tǒng)，只能做到這一步了。

　　但如果我們細(xì)看不同的渠道發(fā)出的請求，就會發(fā)現(xiàn)，應(yīng)用細(xì)分為網(wǎng)銀、柜面、第三方支付和理財平臺四個部分，其中前三個是正常的，但理財平臺的成功率和響應(yīng)率都只有10%，已經(jīng)是嚴(yán)重故障了。

　　因為理財平臺的這200筆交易，只占了總交易量的10%，問題被其他交易掩蓋了。如果這些細(xì)微的隱患不及時發(fā)現(xiàn)，以后會逐漸演變?yōu)楦�大范��、更�?yán)重的問題。

　　這就是細(xì)化監(jiān)控對象、化大為小、見微知著的價值所在。作為一個運維人員，必須練就一雙慧眼，有一套神器，方能及時杜絕小隱患引發(fā)的大麻煩。

　　運維人員使用的軟件工具，必須具備細(xì)分監(jiān)控對象的能力。華青融天的EZSonar系統(tǒng)(鷹眼)，一個重要特點就是微監(jiān)控，在數(shù)十家金融機(jī)構(gòu)得到廣泛應(yīng)用。

　　九陽神功第五重：龜息大法

　　這乾坤一氣袋密不通風(fēng)，他在袋中耽了這許多時候，早已氣悶之極，仗著內(nèi)功深湛，以綿綿龜息之法呼吸，需氣極少，這才支持了下來。——《倚天屠龍記》

　　江湖上有氣長命長之說，龜一次呼吸45秒一般壽命500年，人一次呼吸5秒一般壽命80年。要是看見一個人大口喘氣，上氣不接下氣，估計離掛掉不遠(yuǎn)了。

　　所謂龜息大法，就是內(nèi)功高手對生命節(jié)奏的掌控。從容淡定，方能應(yīng)付裕如、行穩(wěn)致遠(yuǎn)也。

　　作為一個IT系統(tǒng)的運維人員，最重要的就是不要讓自己被虛假的無意義的信息淹沒，忙的四腳朝天，反而忽視了重要的問題。我們經(jīng)�？吹�，大量軟硬件平臺和應(yīng)用系統(tǒng)不斷發(fā)出告警信息，快速刷屏，在這種情況下，如何對告警進(jìn)行高效的精準(zhǔn)處理，分級、壓縮和降噪，去偽存真，及時識別真正的故障和隱患，就是最重大的課題了。

　　第一是減少誤告警。比如，某一時刻交易量突然降低，但只是暫時性波動，很快又恢復(fù)正常，這種異常是沒必要告警的。有些批處理也可能導(dǎo)致某一刻交易量突發(fā)，這種也屬正常情況，往往也不需要告警。

　　第二是準(zhǔn)確把握業(yè)務(wù)的正常規(guī)律，精準(zhǔn)地對異常業(yè)務(wù)流發(fā)出告警。這張圖顯示了對交易量的監(jiān)控，利用大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)，根據(jù)歷史數(shù)據(jù)產(chǎn)生動態(tài)基線，以基線來反映正常交易量的規(guī)律，如果真實的交易量與基線的差異過大，則說明發(fā)生了異動，此時才觸發(fā)告警，避免誤告警的發(fā)生。

　　第三是提升每一個告警的有效性，減少告警數(shù)量和頻次，通過告警關(guān)聯(lián)功能找出事件之間的聯(lián)系，去除告警雜音，讓告警更加精準(zhǔn)有效。

　　凡此種種，在告警的處理上要尋找一種平衡，通過智能的算法，反映實際業(yè)務(wù)的規(guī)律和異常事件間的關(guān)系，不漏報不誤報，讓運維人員應(yīng)對從容。這就是華青融天EZSonar強(qiáng)調(diào)的“輕告警”。

　　九陽神功第六重：壁虎游墻

　　趙敏笑道：“張公子，你的壁虎游墻功當(dāng)真了得，這陷阱是純鋼所鑄，打磨得滑不留手，連細(xì)縫也沒一條，你居然游得上去!”——《倚天屠龍記》

　　一說到墻，當(dāng)然聯(lián)想到運維部門的大屏。如今的運維大屏，不僅可視化效果美輪美奐，實時性也可以達(dá)到秒級，網(wǎng)絡(luò)、服務(wù)器和應(yīng)用的問題，第一時間上墻。數(shù)字和紅綠點線游動跳躍，如同壁虎游墻。

　　可視化做的好，各種實時數(shù)據(jù)集中直觀地顯示，是大屏的最大優(yōu)點。一般都是從大屏發(fā)現(xiàn)了問題，才一步步向下鉆取，挖掘到問題的根源，所以一塊豐富而直觀的大屏、實時性的數(shù)據(jù)展現(xiàn)、隨心所欲的視圖定制、方便快捷的鉆取功能，是每個運維人員的夢想，也是衡量一個監(jiān)控系統(tǒng)好壞的關(guān)鍵。

　　九陽神功第七重：諸毒不侵

　　這一役中，凡赴水閣飲宴之人，除了張無忌有九陽神功護(hù)體、諸毒不侵之外，所有明教首腦，無不中毒。——《倚天屠龍記》

　　無論硬件還是軟件，不出故障是不可能的，關(guān)鍵不是不出故障，而是怎樣預(yù)先做好充分準(zhǔn)備，在故障出現(xiàn)時迅速解決，不讓故障給系統(tǒng)造成太大的毒害，所謂練就內(nèi)功、百毒不侵也。

　　某天早晨，銀行接到客戶投訴，大量客戶在使用APP轉(zhuǎn)賬時出現(xiàn)交易失敗，問題在哪里?是網(wǎng)絡(luò)有問題?還是轉(zhuǎn)賬系統(tǒng)有問題?隨著IT架構(gòu)越來越龐雜，一次請求往往涉及到多個服務(wù)，有可能分布在幾千臺服務(wù)器上，橫跨多個數(shù)據(jù)中心。為了看清交易整個流程每個環(huán)節(jié)的性能表現(xiàn)，以業(yè)務(wù)為中心、端到端部署的全鏈路性能監(jiān)控需求由此產(chǎn)生。

　　舉例，上面是華青融天EZSonar(鷹眼)系統(tǒng)一個典型的銀行應(yīng)用全鏈路圖。

　　我們可以看到，這里有手機(jī)銀行WEB、手機(jī)銀行App、手機(jī)銀行F5、ESB前置(只聚焦手機(jī)銀行的內(nèi)容)，包括后面的ESB、核心、理財、數(shù)據(jù)庫，都是手機(jī)銀行相關(guān)板塊。

　　從這張圖可以清晰地看到，故障是因為理財平臺的延時過大導(dǎo)致的，整個業(yè)務(wù)路徑上，都出現(xiàn)了告警�？梢�，有了全鏈路視圖的幫助，判斷分析問題時就可以順藤摸瓜、一目了然。

　　九陽神功第八重：金剛不壞

　　這人是崆峒五老中位居第四的常敬之。他一拳命中對方要穴，見張無忌渾如不覺，大感詫異，沖口而出：“你⋯⋯你已練成‘金剛不壞體’神功。——《倚天屠龍記》

　　練成金剛不壞功，就像悟空的鐵頭經(jīng)過八卦爐的鍛造，任你刀砍火燒巋然不動，這當(dāng)然是運維人員的最高追求。

　　如前文所說，既然故障的發(fā)生不可避免，運維人員的最大任務(wù)就是當(dāng)故障出現(xiàn)時，盡快定位和解決問題，恢復(fù)生產(chǎn)，盡可能縮短MTTR(Mean time to repair，平均修復(fù)時間)。簡言之，就是快定位。

　　很多運維產(chǎn)品在設(shè)計時，缺乏對運維工作的深入理解，結(jié)果在使用中變成了花架子，不出事時看看大屏挺漂亮，一旦出事卻無法快速解決問題。所謂快定位，關(guān)注的是能否真正幫助運維人員縮短MTTR、提高效率，這才是衡量運維產(chǎn)品是否有用的金標(biāo)準(zhǔn)。

　　要做到快定位，練成金剛不壞之身，需要綜合運用前面所修煉的各項武功：

　　-通過輕告警，準(zhǔn)確而及時地向用戶發(fā)出警報，提示系統(tǒng)發(fā)生了性能劣化或者故障，讓用戶第一時間聽風(fēng)辨器，啟動處理流程。

　　- 通過全鏈路，快速定位故障發(fā)生的部位，并掌控故障影響的范圍和路徑。

　　- 通過微監(jiān)控，深入鉆取故障出現(xiàn)的參數(shù)和場景，準(zhǔn)確發(fā)現(xiàn)哪些系統(tǒng)或部門需要采取措施處理故障，及時通知有關(guān)人員處理問題，啟動應(yīng)急響應(yīng)流程，排除故障，恢復(fù)系統(tǒng)。

　　- 通過完備的日報系統(tǒng)，觀察每天系統(tǒng)運轉(zhuǎn)情況，全面掌控業(yè)務(wù)運行的整體態(tài)勢。

　　正所謂運用之妙存乎一心，當(dāng)你修煉到第八重，八重功力已經(jīng)在體內(nèi)鍛成一體，達(dá)到統(tǒng)合綜效的境界，各種手段信手拈來運用自如，再復(fù)雜的系統(tǒng)也可以從容應(yīng)對了。

　　九陽神功第九重：反噬金剛

　　那胖僧運勁于臂，猛擊張無忌胸口，正打在“膻穴”上。張無忌的九陽神功……不但將敵人打來的拳勁反彈了回去，更因?qū)Ψ竭@么一擊，引動了他體內(nèi)九陽真氣，勁上加勁，力貫力，那胖僧立時便即斃命。——《倚天屠龍記》

　　這九陽神功的最高一重境界，就不是一般人能達(dá)到的了。

　　從目前基于人力的運維到未來機(jī)器人開飛船，當(dāng)然相隔千山萬水，需要科技方面的飛躍和無數(shù)人的努力，短期還做不到，但有一個領(lǐng)域已經(jīng)有了巨大的突破，初步成果已經(jīng)顯現(xiàn)，那就是當(dāng)前熱點話題——AIOps，或者叫智能運維。

　　回顧歷史，早期的運維工作大部分是由運維人員手工完成的，被稱為手工運維或人肉運維。這種方式在互聯(lián)網(wǎng)業(yè)務(wù)快速擴(kuò)張、人力成本高企的時代，難以維系。自動化運維因此應(yīng)運而生，基于用可被自動觸發(fā)的、預(yù)定義規(guī)則的腳本，執(zhí)行重復(fù)性的運維工作，從而減少人力成本、提高效率。但隨著IT系統(tǒng)日益復(fù)雜，以及服務(wù)類型的復(fù)雜多樣，基于人為制定規(guī)則的專家系統(tǒng)逐漸變得力不從心。

　　AIOps隨之橫空出世，它不依賴于人為制定規(guī)則，主張由機(jī)器學(xué)習(xí)算法自動地從海量運維數(shù)據(jù)中學(xué)習(xí)，不斷提煉規(guī)則�；�于機(jī)器學(xué)習(xí)的大腦，指揮監(jiān)測系統(tǒng)采集大腦決策所需的數(shù)據(jù)，做出分析、決策，并指揮自動化腳本去執(zhí)行，從而達(dá)到運維系統(tǒng)的整體目標(biāo)。

　　不是由人設(shè)置規(guī)則處理數(shù)據(jù)，而是由算法自動從數(shù)據(jù)中學(xué)習(xí)規(guī)則，就像乾坤倒轉(zhuǎn)、反噬金剛。

　　AIOps系統(tǒng)的建設(shè)當(dāng)然不是一蹴而就的，目前還處于初期階段，要不斷進(jìn)階，逐步達(dá)到減少甚至取代人力的目標(biāo)。

　　很多企業(yè)已經(jīng)開始嘗試在系統(tǒng)運維中引入AIOps的理念，在一些環(huán)節(jié)上利用機(jī)器學(xué)習(xí)來提高效率，降低對人力的要求。

　　以華青融天的EZSonar(鷹眼)系統(tǒng)舉例，它的告警維度推薦功能就應(yīng)用了AI技術(shù)。通常告警是對一組交易指標(biāo)異常的反映，但具體是什么因素引起的，例如是某個渠道、某種業(yè)務(wù)、還是某個主機(jī)異常，還需要人為定位分析，在處理告警的應(yīng)急狀態(tài)下，人為排查非常費時費力。

　　EZSonar提供的維度智能推薦功能，就可以從歷史運維數(shù)據(jù)中自動發(fā)現(xiàn)規(guī)律，自動向用戶推薦可能的告警維度，大大減輕人的工作量。

　　上圖就是一個真實故障發(fā)生時，系統(tǒng)自動推薦的告警維度，自動發(fā)現(xiàn)了對方系統(tǒng)和交易類型，整個故障從告警發(fā)生到驗證，只用了30秒，對方也在20分鐘內(nèi)解決了此故障。

　　此外，在動態(tài)告警基線、日志智能解析、日志降噪等方面，EZSonar也實現(xiàn)了基于AI的算法，在AIOps之路上邁出了堅實一步。

　　至此，帶大家游歷了九陽神功的九重境界。

　　最后多說兩句，無論九陽神功還是倚天寶劍，都必須在內(nèi)功深厚的人手中才能發(fā)揮效力。運維管理系統(tǒng)只是工具，必須與經(jīng)驗豐富的人、完善的管理制度相結(jié)合，才能保障IT系統(tǒng)穩(wěn)健運行。人在不斷使用運維系統(tǒng)的過程中，也會反哺運維系統(tǒng)，讓它日益強(qiáng)大。內(nèi)修武功，外磨利器，人劍合璧，方能立于不敗之地。

　　這，才是九陽神功的真諦。