企業(yè)大數(shù)據(jù)技術(shù)發(fā)展至今,歷經(jīng)了兩次蛻變。第一次蛻變從最初的“小作坊”解決大數(shù)據(jù)問題,到后來(lái)企業(yè)用各類大數(shù)據(jù)技術(shù)搭建起屬于自己的“大平臺(tái)”,通過(guò)平臺(tái)化的能力完成數(shù)據(jù)生產(chǎn)力的升級(jí)。

　　第二次蛻變讓大數(shù)據(jù)從“大平臺(tái)”向“敏捷制造”的開發(fā)范式演進(jìn)。在2021阿里云峰會(huì)上,阿里巴巴集團(tuán)副總裁、阿里云智能計(jì)算平臺(tái)事業(yè)部高級(jí)研究員賈揚(yáng)清發(fā)布基于DataWorks的一站式大數(shù)據(jù)開發(fā)治理的平臺(tái),就是這個(gè)蛻變最好的佐證。

　　值得一提的是, 誕生于2009年阿里巴巴集團(tuán)內(nèi)部的DataWorks,不僅見證了阿里巴巴十多年大數(shù)據(jù)幾次蛻變發(fā)展,更是阿里巴巴數(shù)據(jù)中臺(tái)建設(shè)的最佳實(shí)踐之一。如今 DataWorks平臺(tái)可以支撐阿里巴巴內(nèi)部上百個(gè)業(yè)務(wù)團(tuán)隊(duì)的數(shù)據(jù)業(yè)務(wù)建設(shè),每天穩(wěn)定調(diào)度上千萬(wàn)數(shù)據(jù)處理任務(wù)。阿里巴巴每天有超過(guò)5萬(wàn)名員工在DataWorks上完成數(shù)據(jù)分析、數(shù)據(jù)開發(fā)和數(shù)據(jù)治理工作。

　　那么,DataWorks如何讓大數(shù)據(jù)向 “敏捷制造” 演進(jìn),背后具備什么樣的核心能力?在全鏈路數(shù)據(jù)服務(wù)—大數(shù)據(jù)與AI分論壇,DataWorks產(chǎn)品負(fù)責(zé)人黃博遠(yuǎn)透露了DataWorks核心的三個(gè)“ONE”能力。

　　簡(jiǎn)單來(lái)講,DataWorks以一站式的理念,通過(guò)一條數(shù)據(jù)開發(fā)鏈路,一套數(shù)據(jù)標(biāo)準(zhǔn)架構(gòu),一套數(shù)據(jù)治理體系,與大數(shù)據(jù)計(jì)算引擎結(jié)合,讓企業(yè)擁有一站式的數(shù)據(jù)開發(fā)與治理能力。

　　1、一條數(shù)據(jù)開發(fā)鏈路

　　很多的企業(yè)發(fā)展到一定階段以后都會(huì)面臨這種情況:

　　1)數(shù)據(jù)來(lái)自于不同地域的數(shù)據(jù)中心,比如阿里云上有公共云、專有云,對(duì)于企業(yè)來(lái)講也有自己的私域,同時(shí)又要服務(wù)企業(yè)外部的客戶與合作伙伴,數(shù)據(jù)非常分散。

　　2)大數(shù)據(jù)的引擎百花齊放,選擇多樣。不管是阿里自研的SaaS模式云數(shù)據(jù)倉(cāng)庫(kù)MaxCompute、交互式分析Hologres和分析型數(shù)據(jù)庫(kù)AnalyticDB,還是開源的EMR、CDH、Flink、Elasticsearch等等,種類極為豐富,我們很難說(shuō)哪一款產(chǎn)品是最好的,對(duì)于企業(yè)來(lái)說(shuō)這種技術(shù)選型是多樣的,按需的。

　　3)數(shù)據(jù)與AI及應(yīng)用如何更好地結(jié)合?大數(shù)據(jù)加工處理完的數(shù)據(jù)還需要結(jié)合AI算法,以服務(wù)化的方式給到數(shù)據(jù)應(yīng)用,如何實(shí)現(xiàn)BI與AI一體化,釋放數(shù)據(jù)價(jià)值。

　　針對(duì)以上痛點(diǎn),DataWorks可以幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理和數(shù)據(jù)服務(wù),將大數(shù)據(jù)全生命周期管理整合到一條完整鏈路中。

　　首先滿足企業(yè)在復(fù)雜網(wǎng)絡(luò)條件下,DataWorks實(shí)現(xiàn)近50種異構(gòu)數(shù)據(jù)源的離線/實(shí)時(shí)的同步,讓企業(yè)更好地邁出大數(shù)據(jù)建設(shè)的“第一步”。其次,它的底層對(duì)接了MaxCompute、EMR、CDH、Hologres、AnalyticDB、實(shí)時(shí)計(jì)算Flink版等大數(shù)據(jù)引擎,讓多種計(jì)算引擎的數(shù)據(jù)開發(fā)治理工作都可以在同一個(gè)平臺(tái)一站式的完成。最后,大數(shù)據(jù)平臺(tái)加工好的數(shù)據(jù)集可以無(wú)縫對(duì)接到機(jī)器學(xué)習(xí)平臺(tái)中進(jìn)行AI訓(xùn)練與在線預(yù)測(cè)服務(wù),也可以通過(guò)數(shù)據(jù)服務(wù)以API方式給到BI、大屏等各類數(shù)據(jù)應(yīng)用。

　　2、一套數(shù)據(jù)標(biāo)準(zhǔn)架構(gòu)

　　對(duì)于企業(yè)而言,數(shù)據(jù)絕不是簡(jiǎn)單地堆積在一起,阿里巴巴通過(guò)數(shù)據(jù)中臺(tái)建設(shè),規(guī)范了集團(tuán)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)架構(gòu),將數(shù)據(jù)進(jìn)行清晰的結(jié)構(gòu)分層,每一層又有明確的范圍與邊界。在貼源層,企業(yè)將完成全域數(shù)據(jù)的匯聚,保留所有的原始數(shù)據(jù)。在整合層,企業(yè)通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)建模等方式確立數(shù)據(jù)的規(guī)范體系。在匯總層,企業(yè)將基于業(yè)務(wù)需求對(duì)數(shù)據(jù)進(jìn)行匯總加工,提煉公共的數(shù)據(jù)指標(biāo)。在應(yīng)用層,面向前臺(tái)業(yè)務(wù)應(yīng)用構(gòu)建數(shù)據(jù)集市,為應(yīng)用提供源源不斷的高質(zhì)量數(shù)據(jù)服務(wù)。這一套架構(gòu)本身不具備產(chǎn)品化能力,但企業(yè)可以基于DataWorks,快速?gòu)?fù)制這套數(shù)據(jù)標(biāo)準(zhǔn)架構(gòu)。

　　3、一套數(shù)據(jù)治理體系

　　企業(yè)如何管理數(shù)據(jù)資產(chǎn)?如何保障數(shù)據(jù)質(zhì)量?如何保障數(shù)據(jù)安全?如何有效地控制成本以及減少不必要浪費(fèi)?這些問題都對(duì)數(shù)據(jù)治理提出了更高的要求。正常來(lái)講,各類數(shù)據(jù)治理工作通過(guò)人工的方式其實(shí)也能夠完成,但是阿里巴巴現(xiàn)在每天處理的數(shù)據(jù)超過(guò)1.7EB,每天調(diào)度的任務(wù)數(shù)在千萬(wàn)級(jí),很難想象靠人工來(lái)完成所有的治理工作。DataWorks將阿里巴巴十多年數(shù)據(jù)治理的實(shí)踐沉淀成產(chǎn)品化能力,完整覆蓋模型設(shè)計(jì)、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、安全管理等貫穿數(shù)據(jù)加工處理和使用的全鏈路所需的治理能力。一個(gè)平臺(tái),就具備一套完整的體系化的能力。

　　在分論壇現(xiàn)場(chǎng),DataWorks全新發(fā)布數(shù)據(jù)建模產(chǎn)品,讓企業(yè)從業(yè)務(wù)視角進(jìn)行數(shù)倉(cāng)規(guī)劃、數(shù)據(jù)標(biāo)準(zhǔn)定義、維度建模和數(shù)據(jù)指標(biāo)設(shè)計(jì),用規(guī)范化的“圖紙”指導(dǎo)大數(shù)據(jù)“建設(shè)”工作,提升企業(yè)數(shù)據(jù)中臺(tái)建設(shè)的規(guī)范性和標(biāo)準(zhǔn)性,大大降低企業(yè)數(shù)據(jù)中臺(tái)建設(shè)門檻和成本。同時(shí)DataWorks將持續(xù)加大與生態(tài)伙伴合作,推出具備不同行業(yè)屬性和不同建模方法的數(shù)據(jù)建模類產(chǎn)品,以支撐不同行業(yè)不同場(chǎng)景的數(shù)倉(cāng)模型設(shè)計(jì)。DataWorks數(shù)據(jù)建模產(chǎn)品將于2021年7月開啟公測(cè),屆時(shí)歡迎大家在阿里云官網(wǎng)搜索“DataWorks”開通體驗(yàn)。

　　除了數(shù)據(jù)建模外,DataWorks覆蓋了數(shù)據(jù)同步、元數(shù)據(jù)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)地圖、任務(wù)運(yùn)維、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)等數(shù)據(jù)全生命周期的治理能力。

　　事實(shí)上,DataWorks已經(jīng)應(yīng)用到各行各業(yè)的數(shù)字化轉(zhuǎn)型中。在工業(yè)行業(yè),DataWorks幫助三一重工打通86個(gè)核心業(yè)務(wù)系統(tǒng),處理每月50PB的各類圖像、視頻、物聯(lián)網(wǎng)數(shù)據(jù),建設(shè)業(yè)內(nèi)場(chǎng)景最全的數(shù)據(jù)中臺(tái)。在能源行業(yè),DataWorks幫助企業(yè)建立10余種數(shù)據(jù)中臺(tái)運(yùn)營(yíng)規(guī)范,完成四大場(chǎng)景50+指標(biāo)產(chǎn)出,規(guī)范數(shù)據(jù)治理流程,提升數(shù)據(jù)可用率。在鋼鐵行業(yè),DataWorks讓數(shù)據(jù)在數(shù)據(jù)中臺(tái)進(jìn)行自由流動(dòng),保證數(shù)據(jù)準(zhǔn)確、準(zhǔn)時(shí)、一致,讓企業(yè)綜合成本削減1億元。在互聯(lián)網(wǎng)行業(yè),得物APP通過(guò)DataWorks OpenAPI構(gòu)建全鏈路數(shù)據(jù)血緣,自主研發(fā)全鏈路解析能力,下線2萬(wàn)張表與近千個(gè)計(jì)算任務(wù),讓企業(yè)成本降低20%。

　　未來(lái)企業(yè)的數(shù)字化轉(zhuǎn)型將對(duì)數(shù)據(jù)的治理與分析提出更高的要求,DataWorks將幫助企業(yè)快速構(gòu)建數(shù)據(jù)中臺(tái),通過(guò)全鏈路的數(shù)據(jù)治理提供高質(zhì)量的數(shù)據(jù)底座,讓數(shù)據(jù)的“敏捷制造”成為企業(yè)數(shù)字化的“敏捷轉(zhuǎn)型”。