在剛剛過(guò)去的Smartbi V9新品發(fā)布會(huì)上，多位嘉賓為我們帶來(lái)的精彩演講在現(xiàn)場(chǎng)引起了熱烈反響，小麥從本周開(kāi)始選取一些整理成文，與未能到場(chǎng)的麥粉們一起分享�，F(xiàn)在分享的是Smartbi資深顧問(wèn)杜健航所作《V9產(chǎn)品挖掘篇 -- 機(jī)器學(xué)習(xí)，預(yù)測(cè)未來(lái)》的演講。

　　如剛才我們的CEO所說(shuō)，目前智能BI的潮流是不可逆轉(zhuǎn)的，我們公司一直是站在潮頭。去年我在廣州塔那邊跟大家分享了智能助手小麥，那是代表了我們?cè)谥悄蹷I自然語(yǔ)言分析這一方向的努力和成果。今天，我想介紹的是我們的另外一個(gè)方向：數(shù)據(jù)挖掘。這個(gè)詞有點(diǎn)偏技術(shù)，因此，我在開(kāi)篇準(zhǔn)備了兩個(gè)故事，這也是我們最近做的兩個(gè)項(xiàng)目，將有助于大家對(duì)“數(shù)據(jù)挖掘”的了解。

　　【故事】

　　一、銀行客戶流失預(yù)警

　　銀行面臨同質(zhì)化競(jìng)爭(zhēng)的市場(chǎng)環(huán)境，存款的利息都差不多，客戶忠誠(chéng)度也不會(huì)很高，現(xiàn)在去拉一個(gè)新客戶的成本是遠(yuǎn)遠(yuǎn)高于維護(hù)老客戶的成本。因此，很多銀行都對(duì)防止客戶流失很重視。這家銀行當(dāng)時(shí)找到我們說(shuō)，他們有一些歷史數(shù)據(jù)，希望我們能從中預(yù)測(cè)出客戶流失的概率。這些歷史數(shù)據(jù)有客戶的固有屬性，如年齡、性別等，有行為屬性，如銀行卡收支情況、銀行APP使用情況，還有其它相關(guān)的屬性。接到這個(gè)需求以后，我們把工程師塞進(jìn)了甲方的小黑屋，一周后他們提交了一個(gè)分析模型，這個(gè)模型用甲方提供的1000份歷史數(shù)據(jù)測(cè)試，準(zhǔn)確率達(dá)到 86%。然后基于這個(gè)模型，為銀行的客戶建立了標(biāo)簽，分為：流失客戶、動(dòng)搖客戶、忠誠(chéng)客戶3類(lèi)。根據(jù)這3類(lèi)標(biāo)簽，銀行可以采取不同的措施。最后銀行針對(duì)“動(dòng)搖客戶”進(jìn)行二次細(xì)分，然后進(jìn)行針對(duì)性關(guān)懷和獎(jiǎng)勵(lì)，成功挽留了 50%以上的客戶，大大節(jié)省了投入成本。

　　二、違章建筑識(shí)別

　　第二個(gè)故事與城市管理有關(guān)。大家知道在城市管理中，有一個(gè)重要的工作內(nèi)容是違章建筑處理。違建處理首先要去調(diào)查與識(shí)別哪個(gè)是違建，這是一件工作量大，周期長(zhǎng)，且有危險(xiǎn)性的工作。當(dāng)前違章的識(shí)別是被動(dòng)式的，靠舉報(bào)然后人工去查證，我們客戶想尋求用技術(shù)手段來(lái)提高效率。于是我們又把工程師塞進(jìn)了小黑屋，這次他們一個(gè)月后才走出來(lái)，因?yàn)檫@次的難度比上一個(gè)需求高了不少。這個(gè)模型對(duì)圖片的建筑識(shí)別率達(dá)到了 90%以上，同時(shí)該模型還能對(duì)建筑范圍進(jìn)行標(biāo)定。這里是一個(gè)中間結(jié)果圖片，那些被虛線框起來(lái)的就是模型所識(shí)別的一個(gè)個(gè)建筑物，深紅色部分就是一個(gè)可能違章的建筑，疑似違法擴(kuò)建。可以看到我們實(shí)現(xiàn)了客戶的需求，客戶因此大大節(jié)省了人力，提升了處理速度。原來(lái)三四十人的巡查隊(duì)，變?yōu)榱宋辶�人的無(wú)人機(jī)操作與數(shù)據(jù)處理人員。從這個(gè)故事可以表明我們具有應(yīng)用高級(jí)算法定制客戶專(zhuān)屬的圖像識(shí)別能力，也可以應(yīng)用到其它場(chǎng)景如公眾場(chǎng)所人流預(yù)警，商場(chǎng)貨架補(bǔ)貨提醒。

　　三、全新挖掘模塊

　　我剛才提到工程師為客戶需求建立的各種分析模型，就是基于我們的Smartbi V9全新的數(shù)據(jù)挖掘模塊Smartbi Mining。這也是今天我要介紹的主要內(nèi)容。在過(guò)去的十多年里，Smartbi的產(chǎn)品團(tuán)隊(duì)在傳統(tǒng)BI、自助BI領(lǐng)域，將強(qiáng)大功能與簡(jiǎn)捷易用結(jié)合在一起帶給我們的客戶。今天，我們希望在智能BI、數(shù)據(jù)挖掘領(lǐng)域能給大家?guī)��?lái)同樣的感受。

　　四、Smartbi Mining的優(yōu)點(diǎn)

　　Smartbi Mining操作起來(lái)非常簡(jiǎn)單，建模、訓(xùn)練、部署等都是在一個(gè)界面完成。業(yè)務(wù)人員可以參與，整個(gè)過(guò)程很直觀。里面有很多內(nèi)置的模型算法，模型參數(shù)也是默認(rèn)調(diào)整到最優(yōu)狀態(tài)，大大降低了使用門(mén)檻。而且，系統(tǒng)隨時(shí)可以擴(kuò)展，處理海量數(shù)據(jù)也不會(huì)出現(xiàn)問(wèn)題。

　　【功能簡(jiǎn)介】

　　一、數(shù)據(jù)源與數(shù)據(jù)處理

　　Smartbi Mining可以輕松接入各種大數(shù)據(jù)場(chǎng)景下的數(shù)據(jù)源，如Hadoop、Spark，也包括阿里云、華為的數(shù)據(jù)源，傳統(tǒng)的Smartbi數(shù)據(jù)源也可以無(wú)縫集成。也就是說(shuō)，無(wú)論是結(jié)構(gòu)化數(shù)據(jù)，還是非結(jié)構(gòu)化數(shù)據(jù)，我們都可以拿來(lái)進(jìn)行挖掘。在數(shù)據(jù)處理方面，無(wú)論是常規(guī)的要求，還是高級(jí)的要求，如One-Hot編碼、特征離散等都能滿足。

　　二、可視化挖掘

　　如果大家有一些挖掘項(xiàng)目經(jīng)驗(yàn)的話，就會(huì)知道經(jīng)歷是比較痛苦的�；�本上是純技術(shù)人員的工作，就是敲代碼，業(yè)務(wù)人員是很難參與的，只能最后拿一個(gè)結(jié)果。這種做法要么實(shí)施周期很長(zhǎng)，要么就是得出來(lái)的結(jié)果難以理解，要么就是完全訂制調(diào)整不了，這些問(wèn)題現(xiàn)在都能解決。Smartbi Mining是完全通過(guò)拖拉拽建模，整個(gè)過(guò)程、結(jié)果都可以看得到，業(yè)務(wù)人員是可以參與的。

　　三、內(nèi)置大量經(jīng)典算法

　　Smartbi Mining包含五大類(lèi)算法，分別是分類(lèi)算法、回歸算法、聚類(lèi)算法、文本分析和深度學(xué)習(xí)。更重要的是，這些組件算法是可擴(kuò)充的，客戶可以根據(jù)應(yīng)用場(chǎng)景去訂制其它的算法。

　　四、算法與模型

　　市面上很多挖掘產(chǎn)品并不能支持企業(yè)級(jí)、大團(tuán)隊(duì)開(kāi)發(fā)，要支持企業(yè)級(jí)挖掘應(yīng)該有什么能力?我認(rèn)為需要具備3點(diǎn)。第一，我們能將模型進(jìn)行單獨(dú)的保存與使用，這樣就能使模型訓(xùn)練調(diào)優(yōu)與模型使用分離，便于大型項(xiàng)目開(kāi)展;第二，在企業(yè)級(jí)開(kāi)發(fā)會(huì)嘗試多種模型，甚至是聯(lián)合使用模型，能使多個(gè)模型一起工作;第三，你所做的所有工作都是能一鍵導(dǎo)入、導(dǎo)出，環(huán)境遷移十分簡(jiǎn)便。Smartbi Mining具備這些特性，所以才能說(shuō)是支持企業(yè)級(jí)挖掘。

　　五、服務(wù)發(fā)布

　　在挖掘項(xiàng)目中，將模型部署生產(chǎn)是最后一公里，這是一個(gè)繁瑣的過(guò)程，但在Smartbi Mining中已經(jīng)成為過(guò)去。用戶可以一鍵完成部署，將訓(xùn)練好的模型部署成為Web服務(wù)，然后直接通過(guò)調(diào)用該API向其發(fā)送數(shù)據(jù)，獲取預(yù)測(cè)結(jié)果。Smarbi Mining還能對(duì)所有部署的服務(wù)進(jìn)行統(tǒng)一管理，直接通過(guò)界面控制服務(wù)的啟停。也支持修改服務(wù)的配置信息，例如服務(wù)別名、服務(wù)描述，對(duì)于管理員十分的簡(jiǎn)便。

　　六、小結(jié)

　　從我上面對(duì)挖掘功能的介紹中，大家了解到Smartbi這次發(fā)布的是一個(gè)一體化的數(shù)據(jù)挖掘模塊，提供從數(shù)據(jù)處理、建模到發(fā)布投產(chǎn)、運(yùn)維管理的全流程支持，一個(gè)界面完成。同時(shí)它是一個(gè)全能型模塊，能滿足各方面人群的使用需求，無(wú)論你是數(shù)據(jù)挖掘?qū)＜遥�還是有一定經(jīng)驗(yàn)的技術(shù)人員，或者是沒(méi)有任何經(jīng)驗(yàn)的業(yè)務(wù)用戶，相信都可以輕松使用，并從中受益。

　　【挖掘?qū)嵺`】

　　產(chǎn)品這么強(qiáng)大又易用，我估計(jì)臺(tái)下已經(jīng)有客戶在考慮實(shí)踐挖掘的項(xiàng)目了，下面我簡(jiǎn)單介紹一下一個(gè)挖掘項(xiàng)目是如何落地的。

　　一、挖掘?qū)嵤┝鞒?/strong>