大模型訓(xùn)練及應(yīng)用、超算為代表的新場(chǎng)景下,社會(huì)數(shù)據(jù)量飆升,數(shù)據(jù)處理和挖掘越來(lái)越復(fù)雜,傳統(tǒng)的存算一體架構(gòu)正面臨挑戰(zhàn)。
文|徐鑫
編|游勇
ChatGPT引爆全球范圍內(nèi)的大模型熱潮,但動(dòng)輒千億參數(shù)級(jí)的大模型給底層的數(shù)字基礎(chǔ)設(shè)施提出了新的挑戰(zhàn)。以存儲(chǔ)為例,資源利用效率、框架的靈活性、運(yùn)維的成本和應(yīng)對(duì)高并發(fā)高吞吐的能力都亟需更新。
一場(chǎng)存儲(chǔ)架構(gòu)的底層革新正悄然發(fā)生。
分布式存儲(chǔ)正取代傳統(tǒng)陣列式存儲(chǔ)。IDC中國(guó)研究經(jīng)理?xiàng)铌漓愀嬖V數(shù)智前線,近年來(lái)國(guó)內(nèi)的軟件定義存儲(chǔ)和超融合所構(gòu)成的分布式存儲(chǔ)市場(chǎng)增速遠(yuǎn)超傳統(tǒng)陣列存儲(chǔ)市場(chǎng),預(yù)計(jì)到2027年將在整個(gè)存儲(chǔ)市場(chǎng)里將分走半壁江山。
主流存儲(chǔ)廠商和新興腰部品牌都已開(kāi)始行動(dòng),針對(duì)不同的應(yīng)用場(chǎng)景,廠商們正努力延伸自己的業(yè)務(wù)優(yōu)勢(shì)和產(chǎn)品優(yōu)勢(shì)來(lái)滿(mǎn)足客戶(hù)需求。經(jīng)過(guò)十余年自研存儲(chǔ)產(chǎn)品歷程,依托京東集團(tuán)內(nèi)部豐富的存儲(chǔ)應(yīng)用場(chǎng)景以及京東重大消費(fèi)節(jié)點(diǎn)等高流量、高并發(fā)場(chǎng)景的實(shí)戰(zhàn)檢驗(yàn),京東云也邁出了技術(shù)、產(chǎn)品、方案和經(jīng)驗(yàn)對(duì)外輸出的一步。
去年,基于新一代存儲(chǔ)架構(gòu)的分布式存儲(chǔ)產(chǎn)品云海正式發(fā)布。京東云IaaS產(chǎn)品研發(fā)部負(fù)責(zé)人龔義成稱(chēng),存算分離釋放的業(yè)務(wù)靈活性、極致性?xún)r(jià)比和超高性能以及自主可控背景下的真替真用,是京東云海的重要差異能力。數(shù)智前線獲悉,目前,云海已覆蓋零售、物流、金融、健康、工業(yè)等行業(yè)的不同業(yè)務(wù)應(yīng)用場(chǎng)景,并正成為千行百業(yè)解決底層存儲(chǔ)架構(gòu)穩(wěn)定性、實(shí)現(xiàn)高性能及降本增效的一種解法。
01
傳統(tǒng)模式正在遭遇挑戰(zhàn)
龔義成對(duì)一位企業(yè)IT負(fù)責(zé)人的兩難困境印象深刻。作為京東云IaaS產(chǎn)品研發(fā)部負(fù)責(zé)人,他時(shí)常要跟不同行業(yè)的客戶(hù)交流企業(yè)底層IT基礎(chǔ)架構(gòu)建設(shè),近年來(lái)他時(shí)常聽(tīng)到有關(guān)數(shù)據(jù)處理和資源使用效率、運(yùn)維效率和可用性等多方面的“苦水”。
一位金融行業(yè)的客戶(hù)告訴他,在此前存算一體的數(shù)據(jù)架構(gòu)下,他們往往要預(yù)備很大的資源冗余,業(yè)務(wù)需要100TB的資源,他們多半要提前籌備400TB,以應(yīng)對(duì)臨時(shí)擴(kuò)容需求。但這些未被充分利用的資源往往也意味著巨大的浪費(fèi)。即使提前預(yù)留了空間,存算一體的框架下,IT運(yùn)維時(shí)也經(jīng)常遇到運(yùn)維難點(diǎn)。以數(shù)據(jù)庫(kù)為例,存算一體架構(gòu)下,數(shù)據(jù)庫(kù)要擴(kuò)容往往非常麻煩,涉及數(shù)據(jù)在集群間的全量遷移復(fù)制,耗時(shí)長(zhǎng)且過(guò)程復(fù)雜。
這實(shí)際上是當(dāng)下數(shù)字化變革進(jìn)一步深入,全社會(huì)數(shù)據(jù)處理量飆升,數(shù)據(jù)處理和挖掘場(chǎng)景變得越來(lái)越復(fù)雜背景下,企業(yè)在底層存儲(chǔ)架構(gòu)層面遭遇各類(lèi)挑戰(zhàn)的縮影。
京東云此前有過(guò)一項(xiàng)調(diào)查,他們對(duì)互聯(lián)網(wǎng)、金融、運(yùn)營(yíng)商、智能汽車(chē)、游戲、能源、零售及快消、醫(yī)療醫(yī)藥等9個(gè)行業(yè)的100多家企業(yè)政府機(jī)構(gòu)的IT管理層調(diào)研發(fā)現(xiàn),企業(yè)現(xiàn)階段存儲(chǔ)基礎(chǔ)設(shè)施的痛點(diǎn)包括存儲(chǔ)成本逐年攀升、數(shù)據(jù)安全事故頻發(fā)、存儲(chǔ)集群管理困難、國(guó)產(chǎn)化真替真用難等。有五成以上的IT管理者曾受困于存算分離難、數(shù)據(jù)孤島、應(yīng)用抖動(dòng)、運(yùn)維困難等問(wèn)題。
行業(yè)已經(jīng)關(guān)注到全社會(huì)層面的存儲(chǔ)成本攀升。IDC發(fā)布的一份報(bào)告顯示,全球數(shù)據(jù)將從2018年的33ZB增至2025年的175ZB。中國(guó)的數(shù)據(jù)總量也在全球首屈一指,一項(xiàng)調(diào)查顯示,中國(guó)數(shù)據(jù)占全球數(shù)據(jù)比重正在從2018年的23.4%發(fā)展到2025年的27.8%。
社會(huì)對(duì)數(shù)據(jù)重要性的認(rèn)知變化、數(shù)據(jù)安全合規(guī)的要求及數(shù)據(jù)使用深度的提升帶來(lái)存儲(chǔ)成本的上升。例如在保險(xiǎn)行業(yè),為了追溯和查驗(yàn),監(jiān)管要求相關(guān)業(yè)務(wù)的數(shù)據(jù)、憑證、資料等要完整妥善保管。政府電子檔案要求保存周期為5年甚至更長(zhǎng),公檢法司數(shù)據(jù)要求保存周期至少30年以上。在當(dāng)下最熱的新能源汽車(chē)和智能駕駛場(chǎng)景,數(shù)智前線了解到,一臺(tái)L3級(jí)別的自動(dòng)駕駛測(cè)試車(chē),平均每天產(chǎn)生60TB的數(shù)據(jù),完整測(cè)試產(chǎn)生的數(shù)百PB數(shù)據(jù)需要存儲(chǔ)30年以上。
海量的存儲(chǔ)需求使得大量的政府、行業(yè)企業(yè)用戶(hù)都開(kāi)始關(guān)注存儲(chǔ)資源的利用效率。一位行業(yè)內(nèi)資深人士告訴數(shù)智前線,經(jīng)過(guò)疫情三年,許多中小企業(yè)客戶(hù)對(duì)存儲(chǔ)產(chǎn)品的使用和需求中對(duì)價(jià)格更為敏感,行業(yè)企業(yè)用戶(hù)普遍對(duì)更具性?xún)r(jià)比的存儲(chǔ)架構(gòu)產(chǎn)生濃厚的興趣。
另外,新業(yè)務(wù)場(chǎng)景的出現(xiàn)也對(duì)存儲(chǔ)基礎(chǔ)設(shè)施應(yīng)對(duì)業(yè)務(wù)變化的支撐能力、靈活性和可運(yùn)維性也提出了新要求。
相關(guān)人士告訴數(shù)智前線,在一些企業(yè)里,從前許多冷存儲(chǔ)的,沒(méi)有被分析和挖掘的文件,現(xiàn)在開(kāi)始有了分析的需求。例如大量的非結(jié)構(gòu)化數(shù)據(jù)需要結(jié)合AI技術(shù)分析,提升企業(yè)對(duì)消費(fèi)者和客戶(hù)的服務(wù)水平。以精準(zhǔn)營(yíng)銷(xiāo)和風(fēng)險(xiǎn)控制場(chǎng)景為例,企業(yè)會(huì)對(duì)幾個(gè)月內(nèi)的海量數(shù)據(jù)進(jìn)行深度挖掘,形成用戶(hù)動(dòng)態(tài)畫(huà)像和風(fēng)險(xiǎn)特征,反哺精準(zhǔn)營(yíng)銷(xiāo)和風(fēng)險(xiǎn)控制。
通常情況下,這些數(shù)據(jù)的使用方式聚焦于熱數(shù)據(jù)分析,一旦相關(guān)數(shù)據(jù)分析價(jià)值降低,挖掘的任務(wù)頻次下降,數(shù)據(jù)存儲(chǔ)和處理就要采用冷數(shù)據(jù)的方式進(jìn)行管理。需要實(shí)時(shí)處理的數(shù)據(jù)需要有更高的存儲(chǔ)性能,相對(duì)冷的數(shù)據(jù)追求更低的存儲(chǔ)成本。以這類(lèi)場(chǎng)景為例,冷熱數(shù)據(jù)切換,本質(zhì)上是在不同成本和性能集群上的不同數(shù)據(jù)類(lèi)型如何自由流轉(zhuǎn),這考驗(yàn)存儲(chǔ)基礎(chǔ)設(shè)施的數(shù)據(jù)互聯(lián)和統(tǒng)一運(yùn)維能力。
數(shù)據(jù)重要性不言而喻,企業(yè)變得愈加重視底層存儲(chǔ)資源的安全可靠性,防范數(shù)據(jù)丟失問(wèn)題。龔義成碰到的一位客戶(hù)提及,存儲(chǔ)本地盤(pán)擴(kuò)容時(shí)總有些提心吊膽。比如從1PB擴(kuò)容到2PB,做法非常原始,要先建出來(lái)2PB容量的集群,然后再把1PB的數(shù)據(jù)導(dǎo)過(guò)去。過(guò)程中一旦出現(xiàn)數(shù)據(jù)丟失,對(duì)業(yè)務(wù)可能是毀滅性打擊。
超算、大模型等智能化應(yīng)用涌現(xiàn),行業(yè)內(nèi)也爆發(fā)出了對(duì)自主可控的高性能存儲(chǔ)基礎(chǔ)設(shè)施的需求。一位資深人士告訴數(shù)智前線,這個(gè)場(chǎng)景下更關(guān)注高吞吐低延遲,對(duì)存儲(chǔ)有極致的要求,如何在維持架構(gòu)的靈活性的同時(shí)也保持高性能,受到相關(guān)場(chǎng)景客戶(hù)的關(guān)注。
由此,新的場(chǎng)景、新的需求正在呼喚更具擴(kuò)展性、更高性能以及更低成本、更具可用性的自主可控新型存儲(chǔ)底層架構(gòu)。
02
分布式存儲(chǔ)加速在行業(yè)應(yīng)用
隨著數(shù)據(jù)量增長(zhǎng)及新型分析需求爆發(fā),存儲(chǔ)架構(gòu)正從傳統(tǒng)的集中式存儲(chǔ)向分布式演進(jìn)。當(dāng)下,存儲(chǔ)市場(chǎng)按照存儲(chǔ)架構(gòu)可以分為傳統(tǒng)企業(yè)級(jí)存儲(chǔ)(TESS)、軟件定義存儲(chǔ)(SDS)、超融合基礎(chǔ)架構(gòu)(HCI),軟件定義存儲(chǔ)與超融合就是通常所說(shuō)的分布式存儲(chǔ)。
不同于存算一體的緊耦合架構(gòu),分布式存儲(chǔ)通常將數(shù)據(jù)管理功能分散在各個(gè)存儲(chǔ)節(jié)點(diǎn),可通過(guò)增加節(jié)點(diǎn)數(shù)量實(shí)現(xiàn)性能和容量的橫向擴(kuò)展,利用多節(jié)點(diǎn)冗余保障數(shù)據(jù)可靠性,具備低成本、穩(wěn)定、安全、統(tǒng)一存儲(chǔ)、擴(kuò)展靈活等諸多優(yōu)勢(shì)。
“近年來(lái)這一市場(chǎng)增長(zhǎng)速度明顯高于傳統(tǒng)的陣列式存儲(chǔ)。”IDC中國(guó)研究經(jīng)理?xiàng)铌漓愀嬖V數(shù)智前線,以2021年數(shù)據(jù)為例,軟件定義存儲(chǔ)和超融合所構(gòu)成的分布式存儲(chǔ)市場(chǎng)增速接近百分之十幾到20%的增長(zhǎng),而傳統(tǒng)市場(chǎng)增速不到10%,到2027年IDC預(yù)計(jì)軟件定義存儲(chǔ)加上超融合產(chǎn)品份額占比達(dá)到整個(gè)存儲(chǔ)市場(chǎng)的49.5%。
其中,數(shù)據(jù)量的爆發(fā)以及海量非結(jié)構(gòu)化數(shù)據(jù)對(duì)于軟件定義存儲(chǔ)市場(chǎng),尤其是NAS為主的文件存儲(chǔ)和對(duì)象存儲(chǔ)增長(zhǎng)貢獻(xiàn)明顯。而云應(yīng)用包括對(duì)云原生的支持則推動(dòng)了超融合產(chǎn)品的發(fā)展。
“分布式存儲(chǔ)市場(chǎng)是一個(gè)兵家必爭(zhēng)之地,大家都在爭(zhēng)這塊蛋糕。”一位行業(yè)資深人士告訴數(shù)智前線,目前主流頭部和新興廠商們都已投注注意力到這里。例如,華為的存儲(chǔ)產(chǎn)品中軟件定義存儲(chǔ)和超融合的出貨占到45%,而新華三則有差不多56%的出貨是分布式,浪潮的軟件定義存儲(chǔ)加上超融合產(chǎn)品達(dá)到了61%左右。同時(shí)一些傳統(tǒng)的陣列存儲(chǔ)供應(yīng)商也受到客戶(hù)需求的推動(dòng),在相關(guān)布局。“當(dāng)下玩家們主要針對(duì)不同的應(yīng)用場(chǎng)景延伸自己的業(yè)務(wù)優(yōu)勢(shì)和產(chǎn)品優(yōu)勢(shì)。”該人士說(shuō)。
由于各家的積極布局,目前這一架構(gòu)方式正加速在各行各業(yè)落地實(shí)踐。
例如,此前普遍認(rèn)為視頻監(jiān)控等場(chǎng)景會(huì)帶來(lái)巨大的非結(jié)構(gòu)性數(shù)據(jù),推動(dòng)分布式存儲(chǔ)需求。當(dāng)下,除了傳統(tǒng)的城市管理領(lǐng)域,在智能交通、智慧城市里汽車(chē)追蹤、人像追蹤也在應(yīng)用分布式產(chǎn)品,在能源和制造行業(yè)當(dāng)中,一些腰部廠商們也積極探索在質(zhì)檢等行業(yè)場(chǎng)景應(yīng)用分布式產(chǎn)品來(lái)承載大量非結(jié)構(gòu)化數(shù)據(jù)。
業(yè)界觀察到,下沉市場(chǎng)對(duì)分布式存儲(chǔ)的需求也在擴(kuò)大,存儲(chǔ)需求的采購(gòu)主體逐步向下沉市場(chǎng)和中小企業(yè)市場(chǎng)擴(kuò)散。
業(yè)界資深人士告訴數(shù)智前線,此前,金融行業(yè)里,對(duì)存儲(chǔ)產(chǎn)品的采購(gòu)主體多是四大行以集采的方式采購(gòu)傳統(tǒng)存儲(chǔ)陣列,然后分發(fā)到不同的分支機(jī)構(gòu)。但現(xiàn)在采購(gòu)主體在下沉,不同的機(jī)構(gòu)業(yè)務(wù)部門(mén)基于自身的業(yè)務(wù)特征,開(kāi)始逐步考慮分布式存儲(chǔ)。比如有個(gè)人貸款業(yè)務(wù)的機(jī)構(gòu),需要存儲(chǔ)大量的用戶(hù)個(gè)人數(shù)據(jù)信息,而傳統(tǒng)存儲(chǔ)陣列更多適合進(jìn)行數(shù)據(jù)溫存儲(chǔ)操作,此時(shí)既有計(jì)算節(jié)點(diǎn),又有存儲(chǔ)節(jié)點(diǎn),有性?xún)r(jià)比優(yōu)勢(shì)的分布式存儲(chǔ)就會(huì)進(jìn)入他們的視線范圍。
在醫(yī)療行業(yè)里,同樣的情況也在發(fā)生,一些省級(jí)婦幼保健院、市級(jí)的醫(yī)院也在采購(gòu)分布式存儲(chǔ)產(chǎn)品,去滿(mǎn)足電子病歷等相關(guān)數(shù)據(jù)及PaaS系統(tǒng)數(shù)據(jù)的支撐。
京東云通過(guò)調(diào)研則進(jìn)一步發(fā)現(xiàn),不同行業(yè)的企業(yè)對(duì)分布式存儲(chǔ)的利用方式不一。5月9日舉行的京東云城市峰會(huì)武漢站上,京東云發(fā)布《云海分布式統(tǒng)一存儲(chǔ)暨京東云存儲(chǔ)白皮書(shū)》,白皮書(shū)中提及不同行業(yè)客戶(hù)在不同的數(shù)據(jù)使用環(huán)境和應(yīng)用場(chǎng)景里,看中的是分布式存儲(chǔ)產(chǎn)品的不同價(jià)值點(diǎn)。
例如,互聯(lián)網(wǎng)行業(yè)用戶(hù)期望通過(guò)分布式存儲(chǔ)打造存算分離的IT架構(gòu),實(shí)現(xiàn)資源的靈活擴(kuò)展和統(tǒng)一調(diào)度,以提升資源利用率,并大幅提升計(jì)算和存儲(chǔ)性能,最終實(shí)現(xiàn)20%~30%的綜合降本。
在政府、醫(yī)療、智能汽車(chē)行業(yè)用戶(hù)那里,他們也關(guān)注經(jīng)濟(jì)性,期望引入更加經(jīng)濟(jì)的分布式存儲(chǔ)系統(tǒng),實(shí)現(xiàn)20%+的成本壓縮。而運(yùn)營(yíng)商、游戲行業(yè)用戶(hù)則期望提升海量數(shù)據(jù)存儲(chǔ)穩(wěn)定性,保障C端應(yīng)用絲滑順暢的消費(fèi)者體驗(yàn)和更為安全的數(shù)據(jù)保障。而電力行業(yè)國(guó)產(chǎn)化進(jìn)程加速,自主可控、真替真用成為其當(dāng)下IT建設(shè)重點(diǎn)。
總體來(lái)看,更好的資源利用率、更好的容錯(cuò)性、更靈活的部署方式等都成為千行百業(yè)選擇分布式存儲(chǔ)架構(gòu)的理由。
03
京東云海的解法
在5月9日的峰會(huì)演講環(huán)節(jié),龔義成透露一個(gè)細(xì)節(jié),過(guò)去兩三年里,京東已經(jīng)完成從傳統(tǒng)的存算一體架構(gòu)向存算分離的分布式存儲(chǔ)架構(gòu)演變。
2012年,京東正式開(kāi)啟自研存儲(chǔ)產(chǎn)品的研發(fā)。經(jīng)過(guò)十余年的發(fā)展,去年基于京東自身實(shí)踐以及從復(fù)雜的場(chǎng)景里提煉與沉淀的能力,京東正式對(duì)外發(fā)布了云海分布式統(tǒng)一存儲(chǔ)產(chǎn)品。目前基于云海的存算分離的技術(shù)架構(gòu)已在京東全面落地,相比存算一體的形態(tài),存儲(chǔ)資源利用率提升至85%以上,PaaS綜合成本降低達(dá)到30%~50%。
會(huì)上,龔義成向現(xiàn)場(chǎng)的伙伴和客戶(hù)介紹在分布式存儲(chǔ)領(lǐng)域云海的重點(diǎn)關(guān)注場(chǎng)景和能力,其中存算分離、低成本、高性能和自主可控等關(guān)鍵詞被再三強(qiáng)調(diào)。
數(shù)智前線獲悉,相比存算一體的架構(gòu),PaaS層存算分離的實(shí)現(xiàn)面臨著一定的挑戰(zhàn),一方面會(huì)涉及多個(gè)技術(shù)領(lǐng)域的復(fù)雜性,如分布式計(jì)算、分布式存儲(chǔ)、網(wǎng)絡(luò)通信、數(shù)據(jù)庫(kù)中間件等PaaS組件。此外,存算分離需要一定的標(biāo)準(zhǔn)化和規(guī)范化,以確保不同系統(tǒng)之間的互操作性和兼容性等。
針對(duì)這些問(wèn)題,龔義成介紹,京東云海通過(guò)超低延時(shí)RDMA、創(chuàng)新性高容錯(cuò)分布式一致性協(xié)議、用戶(hù)態(tài)NVMe等一系列技術(shù)手段,已經(jīng)將存算分離真正大規(guī)模應(yīng)用到生產(chǎn)環(huán)境中,給業(yè)務(wù)釋放非常大的靈活性。
“數(shù)據(jù)庫(kù)中間件的算力可以跟普通的應(yīng)用在一個(gè)資源池里面作統(tǒng)一規(guī)劃。計(jì)算和存儲(chǔ)解耦獨(dú)立,存算資源獨(dú)立調(diào)度,不再有固定配比,資源利用率可以立刻提升到85%以上。”龔義成告訴數(shù)智前線。
一個(gè)典型的業(yè)務(wù)場(chǎng)景是,2022年春晚紅包場(chǎng)景下,京東云沒(méi)有增加采購(gòu)一臺(tái)服務(wù)器就完成了整個(gè)春晚活動(dòng)的技術(shù)支撐,期間應(yīng)對(duì)了多次搶紅包、下單的洪峰,就是靠存算分離后的靈活資源調(diào)度來(lái)完成的。
它在外部企業(yè)應(yīng)用也非常廣泛,例如在當(dāng)下最熱門(mén)的新能源汽車(chē)使用場(chǎng)景里,早晚上班高峰期里新能源車(chē)企對(duì)計(jì)算資源的消耗處于高峰值,在傳統(tǒng)存算一體的架構(gòu)下,需要預(yù)先準(zhǔn)備許多計(jì)算/存儲(chǔ)資源,并且這些資源無(wú)法根據(jù)業(yè)務(wù)的實(shí)際峰值做靈活調(diào)度。存算分離后,可以在業(yè)務(wù)峰值時(shí),申請(qǐng)更多的計(jì)算資源來(lái)滿(mǎn)足業(yè)務(wù)峰值需求,峰值過(guò)后,計(jì)算資源可以釋放掉,用于滿(mǎn)足其它業(yè)務(wù)。
在全社會(huì)關(guān)注降低存儲(chǔ)成本,追求更高性?xún)r(jià)比產(chǎn)品的背景下,云海所強(qiáng)調(diào)的低成本特性也受到了行業(yè)企業(yè)的關(guān)注。龔義成介紹,京東云通過(guò)技術(shù)進(jìn)步實(shí)現(xiàn)了對(duì)存儲(chǔ)成本的極致控制。例如傳統(tǒng)的方案下要保證企業(yè)生產(chǎn)活躍度和數(shù)據(jù)安全需要做到3個(gè)副本,云海在不降低性能和可靠性的情況下只需要1.14個(gè)副本,能夠極大程度降低成本。另外,通過(guò)軟件層面的能力,覆蓋不同成本類(lèi)型的磁盤(pán),以技術(shù)手段規(guī)避低成本磁盤(pán)性能差異,實(shí)現(xiàn)以更低的成本存儲(chǔ)來(lái)滿(mǎn)足企業(yè)的生產(chǎn)活躍度需求。
針對(duì)當(dāng)下的大模型應(yīng)用和超算場(chǎng)景,云海也推出了極速版產(chǎn)品。一般而言,在這類(lèi)高并發(fā)、低時(shí)延、對(duì)性能要求高的場(chǎng)景中,此前的存儲(chǔ)方案通常由傳統(tǒng)的陣列存儲(chǔ)來(lái)覆蓋。分布式存儲(chǔ)產(chǎn)品覆蓋這個(gè)市場(chǎng)需要進(jìn)一步提升技術(shù),打磨性能,從而滿(mǎn)足低時(shí)延高并發(fā)要求。云海的解決方案是,基于超低延遲RDMA網(wǎng)絡(luò)、全用戶(hù)態(tài)數(shù)據(jù)協(xié)議等技術(shù)手段,實(shí)現(xiàn)了性能、擴(kuò)展性、靈活性的兼顧,實(shí)現(xiàn)百萬(wàn)IOPS、4000MB/s帶寬、百微秒IO延時(shí),滿(mǎn)足各類(lèi)高性能、大規(guī)模運(yùn)算場(chǎng)景的存儲(chǔ)需求,大幅提高數(shù)據(jù)分析效率。
數(shù)智前線獲悉,在國(guó)內(nèi)某領(lǐng)先的自動(dòng)駕駛技術(shù)公司的L3與L4模型研發(fā)中,云海的極速版已經(jīng)通過(guò)京東云整體提供的AI訓(xùn)練平臺(tái)、存儲(chǔ)、計(jì)算、網(wǎng)絡(luò)的公有云整體解決方案在企業(yè)落地應(yīng)用,滿(mǎn)足了該企業(yè)上百個(gè)GPU計(jì)算節(jié)點(diǎn)在模型訓(xùn)練過(guò)程中訪問(wèn)存儲(chǔ)數(shù)據(jù),并應(yīng)對(duì)計(jì)算節(jié)點(diǎn)的高并發(fā)訪問(wèn)的需求。
目前,自主可控和安全可靠也是當(dāng)下產(chǎn)業(yè)數(shù)字化進(jìn)程中的關(guān)鍵詞。龔義成介紹,云海作為自研產(chǎn)品,與飛騰、鯤鵬、海光等國(guó)產(chǎn)化硬件完全適配。一方面滿(mǎn)足合規(guī)實(shí)現(xiàn)數(shù)據(jù)的高效流通和使用,同時(shí)能做到真替真用。
數(shù)字化變革正進(jìn)入深水區(qū),無(wú)論是超高性能場(chǎng)景,還是多樣化的業(yè)務(wù)和數(shù)據(jù)需求,都對(duì)未來(lái)的存儲(chǔ)提出了新的挑戰(zhàn)。龔義成認(rèn)為,面對(duì)變化的未來(lái),云海的精髓在于,開(kāi)放靈活的架構(gòu)體系,將帶來(lái)極大的靈活性,“就像搭積木,通過(guò)不同的小的積木,拼出來(lái)不同的存儲(chǔ)的類(lèi)型,來(lái)解決未來(lái)用戶(hù)不同的存儲(chǔ)場(chǎng)景需求。”
榜單收錄、高管收錄、融資收錄、活動(dòng)收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。
海報(bào)生成中...