文|白 鴿

　　編|王一粟

　　OpenAI最新大模型o1的發(fā)布，標(biāo)志著大模型正式邁入推理時(shí)代。但邁入推理時(shí)代后，大模型的不可能三角問(wèn)題更加凸顯——成本、效率和性能難以平衡。

　　一般來(lái)說(shuō)，想要模型效果好，就需要模型大，但模型越大，意味著參數(shù)越多，參數(shù)越多其背后的算力成本就不斷提升，甚至是幾十上百倍的提升。同時(shí)，在模型大、成本低的情況下，還要求模型響應(yīng)延遲足夠低。

　　想要破解大模型不可能三角的問(wèn)題，通過(guò)優(yōu)化算力資源，在不犧牲模型性能的前提下盡可能降低模型部署成本，成為行業(yè)中的關(guān)鍵解法。

　　此背景下，聚焦智能算力優(yōu)化的AI Infra賽道崛起。AI Infra，是指在大模型生態(tài)系統(tǒng)中，鏈接算力和應(yīng)用的中間層基礎(chǔ)設(shè)施，包括硬件、軟件、工具鏈和優(yōu)化方法等，是一個(gè)整體解決方案。

　　那么，AI Infra到底怎么實(shí)現(xiàn)算力資源的優(yōu)化?又如何跑通其中的商業(yè)閉環(huán)邏輯?作為AI Infra賽道的創(chuàng)企，脫胎于清華大學(xué)高性能研究所的趨境科技給出了自己的思考和解法。

　　大模型發(fā)展過(guò)程中，最底層算力基礎(chǔ)設(shè)施是以GPU為主，如果把其比做汽車發(fā)動(dòng)機(jī)，可以看到，發(fā)動(dòng)機(jī)如果性能好，汽車就可以跑的快，但想要汽車跑的更快，就不能僅靠發(fā)動(dòng)機(jī)，還需要空氣動(dòng)力學(xué)、傳動(dòng)軸、輪胎等整車體系化能力的升級(jí)。

　　“現(xiàn)階段很多AI Infra企業(yè)更多是聚焦對(duì)GPU進(jìn)行效率優(yōu)化，而我們則是進(jìn)行了全系統(tǒng)架構(gòu)設(shè)計(jì)。要真正的榨干所有硬件資源，從而突破GPU算力制約。”趨境科技CEO艾智遠(yuǎn)‌如此說(shuō)道。

　　因此，趨境科技提出以存換算和全系統(tǒng)協(xié)同優(yōu)化推理解決方案，通過(guò)協(xié)同存儲(chǔ)、CPU、GPU、NPU等多種設(shè)備，相當(dāng)于把機(jī)器內(nèi)所有硬件資源全部用上，充分釋放異構(gòu)算力，將推理成本降低10倍以上。

　　趨境科技通過(guò)協(xié)同所有硬件資源，為大模型提供充足的算力的同時(shí)，也通過(guò)“以存換算”技術(shù)釋放存力作為算力的補(bǔ)充，降低大模型對(duì)算力的需求。

　　早期大模型推理架構(gòu)將每次推理視為獨(dú)立請(qǐng)求，缺乏高效處理所需的“記憶”能力。盡管后續(xù)引入了近似問(wèn)題緩存(Semantic Query Cache)和前綴緩存(Prefix KVCache Cache)，但仍主要依賴于“死記硬背”。這些方案要求新問(wèn)題與已處理問(wèn)題高度一致，才能利用緩存去降低算力需求。

　　“以存換算”的技術(shù)便是針對(duì)這一問(wèn)題所設(shè)計(jì)，通過(guò)調(diào)用存儲(chǔ)空間和“融合推理(Fusion Attention)”技術(shù)，即便是面對(duì)全新的問(wèn)題也可以從歷史相關(guān)信息中提取可復(fù)用的部分內(nèi)容，與現(xiàn)場(chǎng)信息進(jìn)行在線融合計(jì)算。這一技術(shù)顯著提升了可復(fù)用的歷史計(jì)算結(jié)果，進(jìn)而降低了計(jì)算量。

　　實(shí)際上，這就相當(dāng)于給大模型增加了一個(gè)存儲(chǔ)體，這個(gè)存儲(chǔ)體存儲(chǔ)的不是文檔，而是模型推理過(guò)程中的中間結(jié)果，可以理解為大模型推理結(jié)果的記憶元。就像我們的大腦一樣，儲(chǔ)存了海量的運(yùn)算好的信息，在我們想要表達(dá)或者推理的時(shí)候，能夠從大腦中調(diào)用出一部分運(yùn)算好的信息供我們使用。

　　“我們技術(shù)的本質(zhì)，就是通過(guò)過(guò)往用戶提問(wèn)時(shí)，對(duì)大模型運(yùn)算過(guò)程中的中間結(jié)果進(jìn)行緩存，然后當(dāng)用戶提出全新問(wèn)題時(shí)，即使與原來(lái)問(wèn)題不一樣，但也能從過(guò)往記憶中提取相關(guān)內(nèi)容，再結(jié)合現(xiàn)場(chǎng)推理，輸出最終結(jié)果。”艾智遠(yuǎn)如此說(shuō)道。

　　通過(guò)這一新思路，趨境科技的大模型知識(shí)推理一體機(jī)充分利用了存儲(chǔ)資源，采用“以存換算”的方式釋放存力作為對(duì)于算力的補(bǔ)充，在RAG場(chǎng)景中，響應(yīng)延遲降低20倍，性能提升達(dá)10倍。

　　在實(shí)際商用落地上，趨境科技主要提供產(chǎn)品是大模型知識(shí)推理一體機(jī)，以軟硬一體交付方式為主，內(nèi)置了開(kāi)箱即用的知識(shí)推理平臺(tái)和推理加速引擎，提供辦公助手、智能檢索、內(nèi)容創(chuàng)作等應(yīng)用，并支持橫向拓展更多應(yīng)用，能夠在醫(yī)療、教育、金融、法律、企業(yè)培訓(xùn)等場(chǎng)景直接使用;另外也提供豐富的API接口，客戶能夠快速完成大模型的部署和使用，對(duì)接現(xiàn)有大模型業(yè)務(wù)和產(chǎn)品中進(jìn)行二次開(kāi)發(fā)。

　　事實(shí)上，當(dāng)前在AI Infra在一賽道中，不管是創(chuàng)業(yè)企業(yè)，還是云廠商，抑或是硬件廠商，都虎視眈眈，不斷加速自身的技術(shù)和產(chǎn)品布局。

　　而趨境科技作為一家2023年底剛剛成立的創(chuàng)業(yè)公司，艾智遠(yuǎn)認(rèn)為自身能夠持續(xù)生存并發(fā)展下去的關(guān)鍵，就在于持續(xù)保持核心技術(shù)的領(lǐng)先性上。

　　趨境科技會(huì)持續(xù)優(yōu)化底層技術(shù)能力，“我們更希望的一種模式是，我們搭的是一個(gè)架子，房頂上的這些應(yīng)用是由大家來(lái)開(kāi)發(fā)，然后利用我們架子能夠更好的降低成本。”艾智遠(yuǎn)如此說(shuō)道。

　　以下為光錐智能與趨境科技CEO艾智遠(yuǎn)詳細(xì)對(duì)話內(nèi)容(經(jīng)光錐智能編輯整理)：

　　(1)布局大模型知識(shí)推理一體機(jī)，用以存換算解決不可能三角形

　　Q：趨境科技成立于2023年底，當(dāng)時(shí)選擇創(chuàng)業(yè)的契機(jī)是什么?目前公司的基本情況，包括團(tuán)隊(duì)建設(shè)，融資情況等?

　　A： 趨境科技是由清華計(jì)算機(jī)系教授武老師與真知?jiǎng)?chuàng)投創(chuàng)始人兼董事長(zhǎng)任旭陽(yáng)共同發(fā)起，公司核心三人創(chuàng)始團(tuán)隊(duì)：我、陳超、陳祥麟，均出身武老師門(mén)下。

　　我是清華計(jì)算機(jī)系博士畢業(yè)，博士期間主要從事分布式系統(tǒng)優(yōu)化、并行計(jì)算、分布式存儲(chǔ)等相關(guān)領(lǐng)域研究領(lǐng)域。

　　首席戰(zhàn)略官陳超，清華大學(xué)工程博士在讀，擁有MIT&杜克大學(xué)雙碩士，同時(shí)兼任真知?jiǎng)?chuàng)投董事總經(jīng)理，負(fù)責(zé)真知?jiǎng)?chuàng)投技術(shù)驅(qū)動(dòng)項(xiàng)目的孵化與投資。

　　研發(fā)負(fù)責(zé)人陳祥麟，清華大學(xué)碩士，擁有多年大數(shù)據(jù)與AI相關(guān)產(chǎn)品研發(fā)和落地經(jīng)驗(yàn)。

　　趨境科技的長(zhǎng)期技術(shù)合作方，是清華大學(xué)的KVCache.AI團(tuán)隊(duì)，目前的分工是趨境聯(lián)合清華KVCache.AI團(tuán)隊(duì)共同做技術(shù)研發(fā)，同時(shí)趨境科技負(fù)責(zé)商業(yè)化轉(zhuǎn)化。

　　清華KVCache.AI團(tuán)隊(duì)，由清華助理教授章明星負(fù)責(zé)，團(tuán)隊(duì)在包括OSDI、SOSP、ASPLOS、HPCA、FSE、VLDB、ATC、EuroSys 等國(guó)際頂級(jí)會(huì)議和期刊上發(fā)表論文二十余篇，數(shù)個(gè)國(guó)家級(jí)創(chuàng)新獎(jiǎng)項(xiàng)。

　　我們雙方和月之暗面、阿里、華為等業(yè)內(nèi)主要廠商均有深度協(xié)作，剛剛共同發(fā)布了Mooncake的開(kāi)源項(xiàng)目，共建以KVCache為中心的推理架構(gòu)。

　　目前團(tuán)隊(duì)大概90%以上都是碩士，50%以上是博士，整體以清華系為主，還有來(lái)自包括新加坡國(guó)立、哈工大、中科院、北航、北郵等院校的畢業(yè)生。

　　Q：為什么會(huì)選擇做大模型知識(shí)推理一體機(jī)這一賽道，背后衡量的點(diǎn)是什么?用“以存換算”的思路進(jìn)行布局，能否詳細(xì)的講述一下這背后的思考?

　　A：我們的產(chǎn)品名為大模型知識(shí)推理一體機(jī)，主要是以軟硬件一體的交付形態(tài)，到產(chǎn)品層面則是大模型知識(shí)推理平臺(tái)，有辦公助手、智能客服、智能搜索等等應(yīng)用，客戶開(kāi)箱即用，客戶也可以調(diào)用 API ，提供大模型的能力，對(duì)接到現(xiàn)有的產(chǎn)品中。我們核心觀點(diǎn)是怎么能夠降低大模型落地準(zhǔn)入門(mén)檻，以及幫助企業(yè)能夠真正落地專屬大模型產(chǎn)品。所以我們實(shí)際做的，是一款高性能、低成本、高效率的解決方案，其能夠助力千行百業(yè)的私有化大模型快速落地。

　　大模型在業(yè)務(wù)側(cè)落地成本和延遲都非常高，在業(yè)務(wù)側(cè)單次請(qǐng)求的Prompt長(zhǎng)度往往需要幾千或者上萬(wàn)Token，甚至是基于COT，這就需要進(jìn)行復(fù)雜推理，就像OpenAI的o1。事實(shí)上，我們?cè)谌ツ昃鸵呀?jīng)發(fā)現(xiàn)：基于COT做深層次推理，能夠讓大模型效果更好。但這背后關(guān)鍵問(wèn)題就在于推理成本很高。

　　比如在客服場(chǎng)景，用戶咨詢一個(gè)問(wèn)題，這背后的大模型經(jīng)過(guò)深層次推理，加上外部知識(shí)，可能需要幾十秒鐘才能完成一個(gè)問(wèn)題的完整回復(fù)。這段時(shí)間內(nèi)，大模型一直在進(jìn)行計(jì)算，也意味著幾十秒內(nèi)這臺(tái)機(jī)器的很多計(jì)算資源被獨(dú)占。如果線上上萬(wàn)人，就需要橫向擴(kuò)展數(shù)百臺(tái)機(jī)器，這個(gè)成本是不能接受的。

　　所以在去年我們討論這個(gè)問(wèn)題的時(shí)候，就發(fā)現(xiàn)私有化模型落地的最大問(wèn)題，是有一個(gè)不可能的三角形，它既要效果，又要效率，還要成本。

　　效果，是我們希望有更大的模型，模型越大，效果越好。但模型越大，成本也就越高。并且成本的量級(jí)不是簡(jiǎn)單幾倍數(shù)的提升，而是非常大的量級(jí)的提升。同時(shí)，模型大、成本低的情況下，還要求響應(yīng)的延遲足夠低，所以這就變成了不可能完成的三角形。

　　這個(gè)問(wèn)題的關(guān)鍵是GPU算力的制約，因?yàn)楝F(xiàn)有技術(shù)下GPU的利用率已經(jīng)較高，進(jìn)一步提升的空間有限。

　　而我們之前的研究方向主要是并行計(jì)算、分布式存儲(chǔ)等計(jì)算機(jī)體系結(jié)構(gòu)相關(guān)的領(lǐng)域，我們關(guān)注一臺(tái)服務(wù)器的全部硬件資源，而不僅僅是GPU。因此我們想到一個(gè)點(diǎn)，為什么大模型推理過(guò)程中，只能用GPU?GPU是很強(qiáng)，就好比汽車中的發(fā)動(dòng)機(jī)，發(fā)動(dòng)機(jī)做的好，汽車確實(shí)跑的快。但想要汽車跑得更快，不只是需要增強(qiáng)發(fā)動(dòng)機(jī)本身，還需要結(jié)合空氣動(dòng)力學(xué)、傳動(dòng)軸、輪胎等性能。如果想要把性能發(fā)揮到極致，就要把整個(gè)機(jī)器所有性能都發(fā)揮極致，才能夠達(dá)到最好的性能優(yōu)化。

　　所以，我們就提出了全系統(tǒng)協(xié)同優(yōu)化，相當(dāng)于把機(jī)器內(nèi)所有硬件資源全部用上，包括GPU\CPU\內(nèi)存\硬盤(pán)等，而其中的關(guān)鍵在于怎么利用這些資源。

　　與此同時(shí)，我們國(guó)產(chǎn)GPU卡，與英偉達(dá)的產(chǎn)品在實(shí)際性能上還是有一些差距。如果只關(guān)注GPU的優(yōu)化，大模型的落地成本會(huì)進(jìn)一步提升。

　　因此，在這基礎(chǔ)之上，我們提出了2個(gè)核心觀點(diǎn)，一個(gè)是以存換算，釋放存力作為算力的補(bǔ)充，降低對(duì)算力的需求;二則是全系統(tǒng)異構(gòu)協(xié)同優(yōu)化，緊密聯(lián)動(dòng) HBM/DRAM/SSD 和 CPU/GPU/NPU 全系統(tǒng)異構(gòu)設(shè)備，突破顯存容量的限制，充分釋放全系統(tǒng)的存力和算力。

　　Q：“以存換算”背后的技術(shù)邏輯是什么?

　　A：大模型推理的時(shí)候，特別是在RAG場(chǎng)景相關(guān)應(yīng)用上，需要不停地調(diào)用知識(shí)庫(kù)里的內(nèi)容，給到大模型做推理。

　　現(xiàn)階段在智能問(wèn)答、智能客服等場(chǎng)景中，知識(shí)庫(kù)的運(yùn)用實(shí)際上還是以RAG為核心方式。遇到用戶的提問(wèn)時(shí)，傳統(tǒng)的做法是把這些問(wèn)題和答案緩存下來(lái)，后續(xù)如果有用戶提問(wèn)相似問(wèn)題，就可以給到答案，類似“死記硬背”。

　　但問(wèn)題在于，用戶的提問(wèn)永遠(yuǎn)是千變?nèi)f化的，很難命中原來(lái)一模一樣的問(wèn)題。

　　實(shí)際上，在RAG場(chǎng)景，我們可以做一個(gè)大的存儲(chǔ)體，這個(gè)存儲(chǔ)體存儲(chǔ)的不是文檔，而是模型推理過(guò)程中的中間結(jié)果，可以理解為大模型推理結(jié)果的記憶元。就像我們的大腦一樣，儲(chǔ)存了海量的運(yùn)算好的信息，在我們想要表達(dá)或者推理的時(shí)候，能夠從大腦中調(diào)用出一部分運(yùn)算好的信息供我們使用。

　　傳統(tǒng)的Attention計(jì)算，當(dāng)遇到一個(gè)新的問(wèn)題時(shí)，會(huì)調(diào)用問(wèn)題的相關(guān)產(chǎn)品信息，組成一個(gè)比較大的Prompt，給大模型做現(xiàn)場(chǎng)推理計(jì)算，就像要求一個(gè)人現(xiàn)場(chǎng)看完一本之前沒(méi)看過(guò)的書(shū)，需要的整體理解和閱讀時(shí)間周期都很長(zhǎng)。

　　而我們的想法是，針對(duì)這個(gè)問(wèn)題，已經(jīng)有了一部分記憶元，在另外一個(gè)人提出問(wèn)題時(shí)，就已經(jīng)有相關(guān)知識(shí)記憶存儲(chǔ)，就好像我在做現(xiàn)場(chǎng)推理的時(shí)候，這本書(shū)我已經(jīng)看過(guò)了，但是沒(méi)有看全，但基于看到的一些新內(nèi)容+之前已有的相關(guān)知識(shí)，在做現(xiàn)場(chǎng)推理時(shí)，速度會(huì)快很多。

　　因此，我們不是在做死記硬背，而是在做融合推理。通過(guò)修改大模型里面關(guān)鍵的算子，做記憶與現(xiàn)場(chǎng)推理的融合計(jì)算，能夠比原來(lái)傳統(tǒng)推理有10倍性能的提升，尤其是在RAG場(chǎng)景中。

　　Q：以存換算這一技術(shù)，為什么大模型公司不能夠自己做?

　　A：對(duì)于大模型公司而言，他們更多的關(guān)注點(diǎn)可能會(huì)放在模型效果上，所以技術(shù)方向也會(huì)偏重訓(xùn)練層。而我們主要面向的是ToB的企業(yè)，他們對(duì)于成本更加敏感，“以存換算”主要解決推理部署的成本問(wèn)題，因此我們?cè)谶@個(gè)方面技術(shù)上研究更加深入。

　　(2)生存發(fā)展的關(guān)鍵，是保持核心技術(shù)領(lǐng)先性

　　Q：大模型知識(shí)一體機(jī)是一個(gè)硬件產(chǎn)品?是否需要一套單獨(dú)的軟件算法系統(tǒng)，來(lái)進(jìn)行單獨(dú)的適配?最后落地給客戶，是以硬件的形式交付，還是以軟件的形式交付?

　　A：主要產(chǎn)品交付形態(tài)是一個(gè)軟硬一體的推理一體機(jī)。之所以選擇軟硬一體的形態(tài)，是因?yàn)樾枰�進(jìn)行硬件協(xié)同，一個(gè)普普通通的機(jī)器是不能滿足這一要求，因?yàn)閺恼麄�(gè)機(jī)器的設(shè)計(jì)上來(lái)講，我們需要更多的內(nèi)存和更好的CPU支持，但有可能是更少的GPU算力支持，包括對(duì)帶寬、硬件的選型，基于客戶業(yè)務(wù)訴求我們都會(huì)有很多的考慮。

　　我們做異構(gòu)協(xié)同的話，必須把整臺(tái)機(jī)器的硬件資源都進(jìn)行一定的調(diào)配，甚至是有一些主板層面的設(shè)計(jì)。在給業(yè)務(wù)方交付時(shí)，以一體機(jī)的交付形態(tài)。既可以提供豐富的API接口給業(yè)務(wù)方使用，第三方廠商或者是ISV，只要調(diào)用API，就可以完成大模型推理。也可以提供推理平臺(tái)，并內(nèi)置了一些簡(jiǎn)單應(yīng)用，類似企業(yè)搜索智能問(wèn)答、各種智能體等，同時(shí)客戶也可以根據(jù)業(yè)務(wù)需求再進(jìn)行拓展。

　　對(duì)于一些終端客戶來(lái)講，他可能有些應(yīng)用就已經(jīng)足夠了，我們更希望的一種模式是，我們搭的是一個(gè)架子，房頂上的這些應(yīng)用是由大家來(lái)開(kāi)發(fā)，然后利用我們架子能夠更好的降低成本。

　　Q：目前在硬件的選擇上有具體的傾向嗎?未來(lái)在硬件層面有哪些規(guī)劃?

　　A：目前幾款主流的國(guó)產(chǎn)GPU和NVIDIA GPU的都能支持。未來(lái)我們考慮更多硬件層面的布局，例如主板的設(shè)計(jì)、分離式架構(gòu)設(shè)計(jì)、存算融合等等。

　　Q：目前各大云廠商也都在做智算中心等AI Infra基礎(chǔ)設(shè)施，您認(rèn)為作為創(chuàng)企，要如何與大廠們進(jìn)行競(jìng)爭(zhēng)?同時(shí)，目前在行業(yè)中已經(jīng)有了一批早期的創(chuàng)企，并取得了一定的成績(jī)，作為后來(lái)者，趨境科技又該如何進(jìn)行差異化競(jìng)爭(zhēng)?核心優(yōu)勢(shì)在哪?

　　A： 實(shí)際上，我們的技術(shù)思路和客群選擇和當(dāng)前的大廠以及AI Infra廠商都有所不同，因此目前沒(méi)有明確的競(jìng)爭(zhēng)關(guān)系。此外，AI Infra還是一個(gè)相對(duì)藍(lán)海的市場(chǎng)，大家都有可以服務(wù)的客群。

　　另外，我們比較堅(jiān)持的一點(diǎn)，就是要把“以存換算”和“全系統(tǒng)協(xié)同優(yōu)化”技術(shù)持續(xù)做下去，我們觀測(cè)到未來(lái)推理成本降低不止10倍，要降到千倍。

　　我們也遇到很多客戶，72B的大模型很有用，但出于成本的考慮，最終只會(huì)選擇7B或13B的模型，這就是一個(gè)妥協(xié)。還有些做智能客服的企業(yè)，為了控制成本，可能會(huì)在整個(gè)系統(tǒng)中只用10%的大模型。因此，降低大模型的準(zhǔn)入門(mén)檻，是ToB側(cè)客戶落地大模型時(shí)最廣泛的需求。

　　我們認(rèn)為在自己專注的技術(shù)領(lǐng)域堅(jiān)持研發(fā)投入，持續(xù)建立領(lǐng)先的技術(shù)優(yōu)勢(shì)、做客戶真正需要的產(chǎn)品、提供更好的服務(wù)支持，才能在競(jìng)爭(zhēng)中生存下去。

　　(3)做私有化大模型部署，與云廠商不存在競(jìng)爭(zhēng)關(guān)系

　　Q：大模型很多算力都是花在訓(xùn)練上，我們?yōu)槭裁床蛔龃竽Ｐ偷挠?xùn)練?

　　A： 大模型訓(xùn)練的成本很高，對(duì)數(shù)據(jù)質(zhì)量、人員標(biāo)注能力都有很高的要求，訓(xùn)練不好很有可能出現(xiàn)災(zāi)難性遺忘等問(wèn)題。實(shí)際上現(xiàn)階段通用大模型，經(jīng)過(guò)了一年多的技術(shù)演進(jìn)，配合RAG技術(shù)和In-Context Learning(上下文學(xué)習(xí))，甚至比通過(guò)領(lǐng)域數(shù)據(jù)訓(xùn)練的模型效果還要好，已經(jīng)能夠滿足大部分客戶的業(yè)務(wù)使用場(chǎng)景。

　　而阻礙客戶大模型落地的核心痛點(diǎn)是推理端算力的成本，因此我們更加關(guān)注大模型的私有化落地推理側(cè)的性能優(yōu)化問(wèn)題。

　　Q：基于以存換算的技術(shù)思路，以存儲(chǔ)的形式，尤其是私有化部署大模型的方式，是否會(huì)受到大模型更新迭代的影響?

　　A：我們實(shí)際上是在通用大模型之外，加入了知識(shí)推理能力。我們不僅做硬件加速，也做了深度推理，也就是o1的功能。因此，通用大模型的發(fā)展對(duì)這件事情反而是有促進(jìn)作用，可以根據(jù)模型的能力更換通用大模型來(lái)達(dá)成AI能力的升級(jí)。我們不是訓(xùn)練大模型，而是通過(guò)推理來(lái)減少大模型幻覺(jué)，增強(qiáng)他的推理能力。

　　此外，基于Transformer架構(gòu)的大模型底層的推理邏輯相似，新的模型的適配工作并不大，不需要太多的定制化開(kāi)發(fā)。

　　Q：目前主要業(yè)務(wù)是以私有化部署為主，但云廠商們都號(hào)召大家把大模型部署在云上，那您認(rèn)為未來(lái)私有化部署的空間是否被壓縮?

　　A：我們反而覺(jué)得私有化是很大的一個(gè)空間，因?yàn)楹芏鄶?shù)據(jù)，比如公司的經(jīng)營(yíng)決策數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、核心文檔數(shù)據(jù)、客戶信息、員工信息等，都需要私有化，這是企業(yè)的商業(yè)機(jī)密。

　　因此，一些企業(yè)會(huì)選擇私有化這種最保險(xiǎn)的方式，B端市場(chǎng)也是個(gè)很大的市場(chǎng)，有私有化訴求的這一類客戶群規(guī)模還是比較大，需求也相對(duì)可控。