[No.X058-2]
近日,華青融天戰(zhàn)略拓展總監(jiān)王旭在內(nèi)部分享活動中針對IT運維的九重重要保障進(jìn)行了詳解。
我們的生活和工作,越來越依賴于IT系統(tǒng),無論支付、辦公、吃穿住行……離了互聯(lián)網(wǎng)和軟件,一天也玩不轉(zhuǎn)。當(dāng)然,與前端應(yīng)用日益豐富對應(yīng)的,就是IT系統(tǒng)后臺的日益復(fù)雜、運維工作的日益困難。
如果你是某單位的IT運維人員,那么下面這些狀況一定不陌生:
-周一,網(wǎng)絡(luò)部門做了負(fù)載均衡的升級,業(yè)務(wù)部門反饋偶爾出現(xiàn)業(yè)務(wù)響應(yīng)慢,是升級的問題還是應(yīng)用系統(tǒng)的問題?
- 周三,文檔系統(tǒng)進(jìn)行了硬件遷移,用戶發(fā)現(xiàn)文檔系統(tǒng)的頁面打不開,是網(wǎng)絡(luò)問題?服務(wù)器問題?還是應(yīng)用問題?
- 周日,大量用戶投訴辦理業(yè)務(wù)卡頓,系統(tǒng)的架構(gòu)非常復(fù)雜,毛病出在哪兒?
業(yè)務(wù)部門和用戶眼巴巴等著,你怎么辦?如果短時間找不到問題原因,搞不定系統(tǒng),那這個鍋你算背定了。其實,在很多單位,IT運維部門基本就是專業(yè)背鍋俠。
尤其是,IT監(jiān)控技術(shù)已經(jīng)從傳統(tǒng)的NPM(網(wǎng)絡(luò)和基礎(chǔ)設(shè)施監(jiān)控)進(jìn)化到APM(應(yīng)用監(jiān)控),從數(shù)據(jù)為中心進(jìn)化到業(yè)務(wù)為中心,上面三個例子,都必須由APM技術(shù)出馬搞定。
今天,就來聊聊IT運維技術(shù)的天下大勢,教你怎樣練就一身張無忌般百毒不侵的九陽神功,重重進(jìn)階,金剛不壞。
九陽神功第一重:氤氳紫氣
當(dāng)下將“九陽神功”的練法和口訣傳了無忌......丹田里的真氣似香煙繚繞,悠游自在,那就是所謂“氤氳紫氣”。——《倚天屠龍記》
何謂紫氣?正所謂紫氣東來,數(shù)據(jù)來源是也。要想洞察IT系統(tǒng)的運轉(zhuǎn)情況,監(jiān)控數(shù)據(jù)的來源當(dāng)然是基礎(chǔ)。這就是九陽神功第一重。
采集IT系統(tǒng)的運行信息,有哪些主流技術(shù)?大致有四種:agent、代碼植入、主動探測和今天要講的旁路流量抓包。
簡單講講前面幾種技術(shù)的弊端:agent曾經(jīng)非常流行,但它要求在業(yè)務(wù)服務(wù)器上安裝和運行新的軟件,本身就會消耗服務(wù)器的性能;代碼植入,要求對被監(jiān)控的應(yīng)用系統(tǒng)進(jìn)行改造,植入監(jiān)控代碼,這對很多動輒幾十套、上百套應(yīng)用系統(tǒng)的大型單位來說不可能;主動探測,與前兩者類似,也是一種消耗系統(tǒng)資源的方法。總之,這三種都是帶有一定“侵入性”的技術(shù)。
而旁路流量抓包技術(shù),是近年來出現(xiàn)的一種新的監(jiān)控技術(shù),從網(wǎng)絡(luò)設(shè)備的鏡像端口把服務(wù)器之間的流量直接導(dǎo)出,接入單獨的監(jiān)控系統(tǒng),完全不消耗業(yè)務(wù)服務(wù)器的資源,也不需要做應(yīng)用系統(tǒng)的改造,是一種非侵入性的技術(shù)。
而且數(shù)據(jù)包是最真實的,做不得一點假。通過反向工程,從數(shù)據(jù)流中重建應(yīng)用系統(tǒng)之間的一切交互,計算指標(biāo),發(fā)現(xiàn)問題。
上圖就是交換機(jī)SPAN抓包技術(shù),通過交換機(jī)流量拷貝到一個新的端口,獲取所有被監(jiān)控系統(tǒng)之間的數(shù)據(jù)流。當(dāng)然還有很多技術(shù),如為了提高性能可以引入多臺TAP SWITCH,以后有機(jī)會再談。
采用流量抓包技術(shù)做APM監(jiān)控的,目前國外主要有Compuware、Riverbed APM等,在國內(nèi)很多大型機(jī)構(gòu)有使用。國內(nèi)廠家中,掌握這種技術(shù)的不多,華青融天的EZSonar(鷹眼平臺)是毫無疑義的扛把子。作為國內(nèi)廠商當(dāng)然具有價格實惠、定制開發(fā)靈活等優(yōu)勢,而系統(tǒng)的品質(zhì)也并不弱于國外同行。
九陽神功第二重:易筋洗髓
易筋洗髓是為深厚內(nèi)功,得此功猶入無人之境。——《倚天屠龍記》
修煉到第一重,獲得了旁路數(shù)據(jù)流量,只是具備了監(jiān)控的基礎(chǔ),怎樣解析它,讓數(shù)據(jù)包說話,從中重建出各個應(yīng)用系統(tǒng)之間的信息流,計算指標(biāo)和發(fā)現(xiàn)問題,才是挑戰(zhàn)所在。
經(jīng)過系統(tǒng)的報文解析,將雜亂的數(shù)據(jù)流轉(zhuǎn)化為規(guī)范的信息項,正所謂易筋洗髓,改頭換面,呈現(xiàn)出所有應(yīng)用交互信息和指標(biāo)的本來面目。
很多大型商業(yè)機(jī)構(gòu)如銀行、證券、運營商等,動輒幾十上百套應(yīng)用系統(tǒng),有些是標(biāo)準(zhǔn)的商業(yè)軟件,有些是國內(nèi)定制開發(fā)的行業(yè)軟件,它們的數(shù)據(jù)報文格式五花八門,猶如進(jìn)了聯(lián)合國,要求監(jiān)控系統(tǒng)必須有幾百種語言的同聲傳譯水平。而且性能也是一個關(guān)鍵挑戰(zhàn),因為每秒都有若干GB的流量洶涌而來,能否及時地解析它們,要求軟件的流量工程能力極強(qiáng)。
例如,上面就是一段報文。肉眼一看,如看天書 。但是如果解碼引擎合理地配置了報文解碼規(guī)則,就像大腦內(nèi)置了一本強(qiáng)大的字典,就能解碼報文背后的應(yīng)用信息,進(jìn)而計算出各種指標(biāo)。
有哪些常見的報文協(xié)議類型?DNS、FTP、Telnet、ICMP、Syslog、SNMP、HTTP、POP3、IMAP3、DHCP、RSYNC、NFS、RSH、MEMCHAED、REDIS、XML、Weblogic JMS、Tuxedo、XML OVER TCP、EJB、RMI、JSON、SOAP、CUPS、CTG、Oracle TNS、短信通知平臺(移動,電信,聯(lián)通)、MYSQL、DB2……
可見,對于一個APM系統(tǒng)的建設(shè),應(yīng)用系統(tǒng)報文協(xié)議的解析規(guī)則是重要一環(huán)。一方面,開發(fā)商需要具有深厚的積淀,具備豐富的報文解析規(guī)則庫,能解析常見的商業(yè)軟件;同時,建設(shè)單位需要提供自身的定制化系統(tǒng)的報文規(guī)則,供系統(tǒng)配置補(bǔ)充,這方面也必須方便易用。
九陽神功第三重:至陽熱氣
至陽熱氣,全力施展可將人焚為焦炭,專門克破所有寒性和陰毒內(nèi)力。——《倚天屠龍記》
天下武功,唯快不破。
如果系統(tǒng)已經(jīng)出現(xiàn)了性能劣化,甚至應(yīng)用已經(jīng)宕機(jī),你肯定不希望明天早晨才發(fā)現(xiàn)。所以,對于應(yīng)用監(jiān)控系統(tǒng)來說,性能計算和告警的時效性是關(guān)鍵,第一時間發(fā)現(xiàn)問題先兆,聽風(fēng)辨器、及時預(yù)警、防患于未然,才是運維的最高境界。業(yè)界往往把數(shù)據(jù)分為熱數(shù)據(jù)(實時)、溫數(shù)據(jù)(warm)和冷數(shù)據(jù),對于關(guān)鍵性的業(yè)務(wù)監(jiān)控系統(tǒng)而言,對于數(shù)據(jù)的要求一定是最高熱度的,正所謂至陽熱氣。
例如,上面是一個金融單位的典型的業(yè)務(wù)監(jiān)控界面,每個業(yè)務(wù)板塊和業(yè)務(wù)系統(tǒng)的性能指標(biāo)實時刷新,當(dāng)某系統(tǒng)出現(xiàn)問題時,紅色告警就會閃現(xiàn)。這些性能指標(biāo)的更新和告警的判斷,要求后臺的計算引擎有著最強(qiáng)大的計算和判斷能力。
各位少俠要了解,告警的判斷是一個非常復(fù)雜的問題。如果僅僅是與靜態(tài)閾值相比較而觸發(fā)告警,是遠(yuǎn)遠(yuǎn)不夠的。例如,一家機(jī)構(gòu)的業(yè)務(wù)量往往具有一定的時間分布特點,如工作日較高節(jié)假日較低,上下午會各有一個交易高峰等等,只有具備智能的算法,對一段歷史時間內(nèi)的指標(biāo)進(jìn)行動態(tài)基線比對,發(fā)現(xiàn)指標(biāo)的浮動超出了一定范圍,才判斷為異動,觸發(fā)告警,提請用戶注意。
要做到這些,讓熱氣騰騰的性能和告警數(shù)據(jù)實時呈送到界面,就需要在秒級完成從數(shù)據(jù)流采集到報文解析到性能指標(biāo)計算和告警識別。具體技術(shù),各村都有各村的高招,華青融天通過采取不落地的內(nèi)存計算方式,能夠保證數(shù)據(jù)的秒級處理,在近期一家金融機(jī)構(gòu)的實測中,每秒處理的交易量超過70萬筆。
九陽神功第四重:縮骨大法
他心中只一個念頭:“這小子比我高大,他能鉆過,我當(dāng)然更能鉆過。”想法原本不錯,只是有一點卻沒料到:張無忌已練成了九陽神功中的縮骨之法。——《倚天屠龍記》
縮骨大法者,化大為小,小中見大,見微知著也。
魔鬼往往在細(xì)節(jié)中。對于業(yè)務(wù)系統(tǒng)的監(jiān)控,基本的監(jiān)控粒度有多大,決定了故障定位的精度。前面給大家講過監(jiān)控系統(tǒng)的數(shù)據(jù)來源,以旁路鏡像數(shù)據(jù)流為最佳選擇,數(shù)據(jù)流中全部業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)流糾纏在一起,剪不斷理還亂,必須化大為小,從大的數(shù)據(jù)流中拆分一個個小的邏輯對象,才能鎖定真正的問題。
舉個例子,上面是一個的典型銀行應(yīng)用。
粗看起來,每分鐘2000筆的交易量,平均響應(yīng)時間100ms,成功率90%,響應(yīng)率90%,看起來還不錯。大部分業(yè)務(wù)監(jiān)控系統(tǒng),只能做到這一步了。
但如果我們細(xì)看不同的渠道發(fā)出的請求,就會發(fā)現(xiàn),應(yīng)用細(xì)分為網(wǎng)銀、柜面、第三方支付和理財平臺四個部分,其中前三個是正常的,但理財平臺的成功率和響應(yīng)率都只有10%,已經(jīng)是嚴(yán)重故障了。
因為理財平臺的這200筆交易,只占了總交易量的10%,問題被其他交易掩蓋了。如果這些細(xì)微的隱患不及時發(fā)現(xiàn),以后會逐漸演變?yōu)楦蠓秶�、更�?yán)重的問題。
這就是細(xì)化監(jiān)控對象、化大為小、見微知著的價值所在。作為一個運維人員,必須練就一雙慧眼,有一套神器,方能及時杜絕小隱患引發(fā)的大麻煩。
運維人員使用的軟件工具,必須具備細(xì)分監(jiān)控對象的能力。華青融天的EZSonar系統(tǒng)(鷹眼),一個重要特點就是微監(jiān)控,在數(shù)十家金融機(jī)構(gòu)得到廣泛應(yīng)用。
九陽神功第五重:龜息大法
這乾坤一氣袋密不通風(fēng),他在袋中耽了這許多時候,早已氣悶之極,仗著內(nèi)功深湛,以綿綿龜息之法呼吸,需氣極少,這才支持了下來。——《倚天屠龍記》
江湖上有氣長命長之說,龜一次呼吸45秒一般壽命500年,人一次呼吸5秒一般壽命80年。要是看見一個人大口喘氣,上氣不接下氣,估計離掛掉不遠(yuǎn)了。
所謂龜息大法,就是內(nèi)功高手對生命節(jié)奏的掌控。從容淡定,方能應(yīng)付裕如、行穩(wěn)致遠(yuǎn)也。
作為一個IT系統(tǒng)的運維人員,最重要的就是不要讓自己被虛假的無意義的信息淹沒,忙的四腳朝天,反而忽視了重要的問題。我們經(jīng)�?吹�,大量軟硬件平臺和應(yīng)用系統(tǒng)不斷發(fā)出告警信息,快速刷屏,在這種情況下,如何對告警進(jìn)行高效的精準(zhǔn)處理,分級、壓縮和降噪,去偽存真,及時識別真正的故障和隱患,就是最重大的課題了。
第一是減少誤告警。比如,某一時刻交易量突然降低,但只是暫時性波動,很快又恢復(fù)正常,這種異常是沒必要告警的。有些批處理也可能導(dǎo)致某一刻交易量突發(fā),這種也屬正常情況,往往也不需要告警。
第二是準(zhǔn)確把握業(yè)務(wù)的正常規(guī)律,精準(zhǔn)地對異常業(yè)務(wù)流發(fā)出告警。這張圖顯示了對交易量的監(jiān)控,利用大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù),根據(jù)歷史數(shù)據(jù)產(chǎn)生動態(tài)基線,以基線來反映正常交易量的規(guī)律,如果真實的交易量與基線的差異過大,則說明發(fā)生了異動,此時才觸發(fā)告警,避免誤告警的發(fā)生。
第三是提升每一個告警的有效性,減少告警數(shù)量和頻次,通過告警關(guān)聯(lián)功能找出事件之間的聯(lián)系,去除告警雜音,讓告警更加精準(zhǔn)有效。
凡此種種,在告警的處理上要尋找一種平衡,通過智能的算法,反映實際業(yè)務(wù)的規(guī)律和異常事件間的關(guān)系,不漏報不誤報,讓運維人員應(yīng)對從容。這就是華青融天EZSonar強(qiáng)調(diào)的“輕告警”。
九陽神功第六重:壁虎游墻
趙敏笑道:“張公子,你的壁虎游墻功當(dāng)真了得,這陷阱是純鋼所鑄,打磨得滑不留手,連細(xì)縫也沒一條,你居然游得上去!”——《倚天屠龍記》
一說到墻,當(dāng)然聯(lián)想到運維部門的大屏。如今的運維大屏,不僅可視化效果美輪美奐,實時性也可以達(dá)到秒級,網(wǎng)絡(luò)、服務(wù)器和應(yīng)用的問題,第一時間上墻。數(shù)字和紅綠點線游動跳躍,如同壁虎游墻。
可視化做的好,各種實時數(shù)據(jù)集中直觀地顯示,是大屏的最大優(yōu)點。一般都是從大屏發(fā)現(xiàn)了問題,才一步步向下鉆取,挖掘到問題的根源,所以一塊豐富而直觀的大屏、實時性的數(shù)據(jù)展現(xiàn)、隨心所欲的視圖定制、方便快捷的鉆取功能,是每個運維人員的夢想,也是衡量一個監(jiān)控系統(tǒng)好壞的關(guān)鍵。
九陽神功第七重:諸毒不侵
這一役中,凡赴水閣飲宴之人,除了張無忌有九陽神功護(hù)體、諸毒不侵之外,所有明教首腦,無不中毒。——《倚天屠龍記》
無論硬件還是軟件,不出故障是不可能的,關(guān)鍵不是不出故障,而是怎樣預(yù)先做好充分準(zhǔn)備,在故障出現(xiàn)時迅速解決,不讓故障給系統(tǒng)造成太大的毒害,所謂練就內(nèi)功、百毒不侵也。
某天早晨,銀行接到客戶投訴,大量客戶在使用APP轉(zhuǎn)賬時出現(xiàn)交易失敗,問題在哪里?是網(wǎng)絡(luò)有問題?還是轉(zhuǎn)賬系統(tǒng)有問題?隨著IT架構(gòu)越來越龐雜,一次請求往往涉及到多個服務(wù),有可能分布在幾千臺服務(wù)器上,橫跨多個數(shù)據(jù)中心。為了看清交易整個流程每個環(huán)節(jié)的性能表現(xiàn),以業(yè)務(wù)為中心、端到端部署的全鏈路性能監(jiān)控需求由此產(chǎn)生。
舉例,上面是華青融天EZSonar(鷹眼)系統(tǒng)一個典型的銀行應(yīng)用全鏈路圖。
我們可以看到,這里有手機(jī)銀行WEB、手機(jī)銀行App、手機(jī)銀行F5、ESB前置(只聚焦手機(jī)銀行的內(nèi)容),包括后面的ESB、核心、理財、數(shù)據(jù)庫,都是手機(jī)銀行相關(guān)板塊。
從這張圖可以清晰地看到,故障是因為理財平臺的延時過大導(dǎo)致的,整個業(yè)務(wù)路徑上,都出現(xiàn)了告警�?梢�,有了全鏈路視圖的幫助,判斷分析問題時就可以順藤摸瓜、一目了然。
九陽神功第八重:金剛不壞
這人是崆峒五老中位居第四的常敬之。他一拳命中對方要穴,見張無忌渾如不覺,大感詫異,沖口而出:“你⋯⋯你已練成‘金剛不壞體’神功。——《倚天屠龍記》
練成金剛不壞功,就像悟空的鐵頭經(jīng)過八卦爐的鍛造,任你刀砍火燒巋然不動,這當(dāng)然是運維人員的最高追求。
如前文所說,既然故障的發(fā)生不可避免,運維人員的最大任務(wù)就是當(dāng)故障出現(xiàn)時,盡快定位和解決問題,恢復(fù)生產(chǎn),盡可能縮短MTTR(Mean time to repair,平均修復(fù)時間)。簡言之,就是快定位。
很多運維產(chǎn)品在設(shè)計時,缺乏對運維工作的深入理解,結(jié)果在使用中變成了花架子,不出事時看看大屏挺漂亮,一旦出事卻無法快速解決問題。所謂快定位,關(guān)注的是能否真正幫助運維人員縮短MTTR、提高效率,這才是衡量運維產(chǎn)品是否有用的金標(biāo)準(zhǔn)。
要做到快定位,練成金剛不壞之身,需要綜合運用前面所修煉的各項武功:
-通過輕告警,準(zhǔn)確而及時地向用戶發(fā)出警報,提示系統(tǒng)發(fā)生了性能劣化或者故障,讓用戶第一時間聽風(fēng)辨器,啟動處理流程。
- 通過全鏈路,快速定位故障發(fā)生的部位,并掌控故障影響的范圍和路徑。
- 通過微監(jiān)控,深入鉆取故障出現(xiàn)的參數(shù)和場景,準(zhǔn)確發(fā)現(xiàn)哪些系統(tǒng)或部門需要采取措施處理故障,及時通知有關(guān)人員處理問題,啟動應(yīng)急響應(yīng)流程,排除故障,恢復(fù)系統(tǒng)。
- 通過完備的日報系統(tǒng),觀察每天系統(tǒng)運轉(zhuǎn)情況,全面掌控業(yè)務(wù)運行的整體態(tài)勢。
正所謂運用之妙存乎一心,當(dāng)你修煉到第八重,八重功力已經(jīng)在體內(nèi)鍛成一體,達(dá)到統(tǒng)合綜效的境界,各種手段信手拈來運用自如,再復(fù)雜的系統(tǒng)也可以從容應(yīng)對了。
九陽神功第九重:反噬金剛
那胖僧運勁于臂,猛擊張無忌胸口,正打在“膻穴”上。張無忌的九陽神功……不但將敵人打來的拳勁反彈了回去,更因?qū)Ψ竭@么一擊,引動了他體內(nèi)九陽真氣,勁上加勁,力貫力,那胖僧立時便即斃命。——《倚天屠龍記》
這九陽神功的最高一重境界,就不是一般人能達(dá)到的了。
從目前基于人力的運維到未來機(jī)器人開飛船,當(dāng)然相隔千山萬水,需要科技方面的飛躍和無數(shù)人的努力,短期還做不到,但有一個領(lǐng)域已經(jīng)有了巨大的突破,初步成果已經(jīng)顯現(xiàn),那就是當(dāng)前熱點話題——AIOps,或者叫智能運維。
回顧歷史,早期的運維工作大部分是由運維人員手工完成的,被稱為手工運維或人肉運維。這種方式在互聯(lián)網(wǎng)業(yè)務(wù)快速擴(kuò)張、人力成本高企的時代,難以維系。自動化運維因此應(yīng)運而生,基于用可被自動觸發(fā)的、預(yù)定義規(guī)則的腳本,執(zhí)行重復(fù)性的運維工作,從而減少人力成本、提高效率。但隨著IT系統(tǒng)日益復(fù)雜,以及服務(wù)類型的復(fù)雜多樣,基于人為制定規(guī)則的專家系統(tǒng)逐漸變得力不從心。
AIOps隨之橫空出世,它不依賴于人為制定規(guī)則,主張由機(jī)器學(xué)習(xí)算法自動地從海量運維數(shù)據(jù)中學(xué)習(xí),不斷提煉規(guī)則�;跈C(jī)器學(xué)習(xí)的大腦,指揮監(jiān)測系統(tǒng)采集大腦決策所需的數(shù)據(jù),做出分析、決策,并指揮自動化腳本去執(zhí)行,從而達(dá)到運維系統(tǒng)的整體目標(biāo)。
不是由人設(shè)置規(guī)則處理數(shù)據(jù),而是由算法自動從數(shù)據(jù)中學(xué)習(xí)規(guī)則,就像乾坤倒轉(zhuǎn)、反噬金剛。
AIOps系統(tǒng)的建設(shè)當(dāng)然不是一蹴而就的,目前還處于初期階段,要不斷進(jìn)階,逐步達(dá)到減少甚至取代人力的目標(biāo)。
很多企業(yè)已經(jīng)開始嘗試在系統(tǒng)運維中引入AIOps的理念,在一些環(huán)節(jié)上利用機(jī)器學(xué)習(xí)來提高效率,降低對人力的要求。
以華青融天的EZSonar(鷹眼)系統(tǒng)舉例,它的告警維度推薦功能就應(yīng)用了AI技術(shù)。通常告警是對一組交易指標(biāo)異常的反映,但具體是什么因素引起的,例如是某個渠道、某種業(yè)務(wù)、還是某個主機(jī)異常,還需要人為定位分析,在處理告警的應(yīng)急狀態(tài)下,人為排查非常費時費力。
EZSonar提供的維度智能推薦功能,就可以從歷史運維數(shù)據(jù)中自動發(fā)現(xiàn)規(guī)律,自動向用戶推薦可能的告警維度,大大減輕人的工作量。
上圖就是一個真實故障發(fā)生時,系統(tǒng)自動推薦的告警維度,自動發(fā)現(xiàn)了對方系統(tǒng)和交易類型,整個故障從告警發(fā)生到驗證,只用了30秒,對方也在20分鐘內(nèi)解決了此故障。
此外,在動態(tài)告警基線、日志智能解析、日志降噪等方面,EZSonar也實現(xiàn)了基于AI的算法,在AIOps之路上邁出了堅實一步。
至此,帶大家游歷了九陽神功的九重境界。
最后多說兩句,無論九陽神功還是倚天寶劍,都必須在內(nèi)功深厚的人手中才能發(fā)揮效力。運維管理系統(tǒng)只是工具,必須與經(jīng)驗豐富的人、完善的管理制度相結(jié)合,才能保障IT系統(tǒng)穩(wěn)健運行。人在不斷使用運維系統(tǒng)的過程中,也會反哺運維系統(tǒng),讓它日益強(qiáng)大。內(nèi)修武功,外磨利器,人劍合璧,方能立于不敗之地。
這,才是九陽神功的真諦。
榜單收錄、高管收錄、融資收錄、活動收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。
海報生成中...