国内精品伊人久久久久影院对白_久久亚洲精品人成综合网_久久国语露脸国产精品电影_国产精品美女久久久M_国产韩国精品一区二区三区久久

01

如何評(píng)估AI大模型需求？

當(dāng)前整個(gè)算力市場(chǎng)面臨著算力供給突飛猛進(jìn)和大模型算力需求相對(duì)不足的沖突。至頂智庫(kù)統(tǒng)計(jì)，截至2023年2月，我國(guó)目前已投入運(yùn)營(yíng)和在建的人工智能計(jì)算中心達(dá)23個(gè)，分布在北京、上海、南京、杭州等多個(gè)城市。但是在AI算力加速布局的同時(shí)，企業(yè)如何評(píng)估自身的大模型需求以及構(gòu)建相適應(yīng)的算力基礎(chǔ)設(shè)施成為AI應(yīng)用發(fā)展的首要問題。

評(píng)估AI大模型需求是一個(gè)系統(tǒng)工程，不僅需要了解業(yè)務(wù)需求，還要了解模型的復(fù)雜性、海量數(shù)據(jù)的多樣性以及算力本身的性能和成本考量。

AI大模型訓(xùn)練需要服務(wù)器集群實(shí)現(xiàn)大規(guī)模計(jì)算，因此企業(yè)要判斷自身服務(wù)對(duì)象的數(shù)據(jù)量以及需要圍繞著面向訓(xùn)練場(chǎng)景，包括算力，網(wǎng)絡(luò)、存儲(chǔ)的整個(gè)算力需求進(jìn)行評(píng)估。鄔鴻認(rèn)為AI大模型需求隨著數(shù)據(jù)量的增長(zhǎng)，對(duì)于算力的需求不是簡(jiǎn)單的線性增加，而是指數(shù)型增加。“企業(yè)的服務(wù)客戶群體是百萬，千萬，或者甚至上億級(jí)別，對(duì)AI算力需求是完全不一樣的變化，因?yàn)樗懔κ歉鶕?jù)AI大模型需求增長(zhǎng)呈現(xiàn)指數(shù)性增加，而不是線性增加，所以首先企業(yè)要明確服務(wù)對(duì)象的體量，包括對(duì)會(huì)話請(qǐng)求的要求，通過這一點(diǎn)可以判斷未來行業(yè)大模型落地的大概算力需求?！?鄔鴻分享到。

另外，還要考慮大模型拓展帶來的長(zhǎng)尾效應(yīng)?！叭绻M(jìn)一步深入到中小型應(yīng)用的大模型拓展，例如像電力、金融、電商、物流等行業(yè)大模型，其長(zhǎng)尾效應(yīng)非常寬也非常長(zhǎng)，勢(shì)必帶來AI算力的需求增長(zhǎng)，雖然沒有互聯(lián)網(wǎng)動(dòng)輒上萬片的算力卡需求，但是聚少成多，具備很強(qiáng)的長(zhǎng)尾效應(yīng)?！?鄔鴻介紹到，一般企業(yè)對(duì)行業(yè)大模型的算力需求在100-1000張卡之內(nèi)，這可以滿足絕大部分行業(yè)大模型訓(xùn)練需求。

02

高效應(yīng)對(duì)AI大模型，算力是關(guān)鍵

當(dāng)前AI服務(wù)器已經(jīng)廣泛應(yīng)用在人工智能、深度學(xué)習(xí)、智慧教育、智能城市、醫(yī)療健康、大數(shù)據(jù)、高性能計(jì)算 (HPC)、虛擬現(xiàn)實(shí)等，以及媒體傳輸、云游戲、元宇宙等智能視覺云應(yīng)用等?；贏I服務(wù)器在大模型訓(xùn)練和推理方面的優(yōu)勢(shì)，未來整個(gè)服務(wù)器市場(chǎng)也發(fā)生了巨變?！敖衲陙砜?，AI服務(wù)器增長(zhǎng)速度遠(yuǎn)遠(yuǎn)高于通用服務(wù)器增長(zhǎng)速度，從銷售額來看，我們預(yù)估可能到明年或者后年，通用服務(wù)器和AI服務(wù)器市場(chǎng)占比可能達(dá)到1:1?！编w鴻談到。

如今，除了傳統(tǒng)服務(wù)器，寶德計(jì)算攜手英特爾、英偉達(dá)以及昇騰AI等合作伙伴，持續(xù)推出了面向AI加速計(jì)算服務(wù)器系列產(chǎn)品，通過高性能、可擴(kuò)展性強(qiáng)、高能效和開箱即用等優(yōu)勢(shì)，滿足AI客戶尤其是大模型訓(xùn)練和推理提供超高性價(jià)比的算力支撐。

寶德計(jì)算AI服務(wù)器目前針對(duì)AI訓(xùn)練、AI推理以及邊緣推理推出全系列面向AI場(chǎng)景的算力基礎(chǔ)設(shè)施。

訓(xùn)練服務(wù)器偏向于以單機(jī)多卡滿足高性能的訓(xùn)練價(jià)值為主，主要面向互聯(lián)網(wǎng)、AI獨(dú)角獸以及ISV等用戶的傳統(tǒng)的深度學(xué)習(xí)訓(xùn)練場(chǎng)景。比如基于GPU的寶德AI加速計(jì)算服務(wù)器，支持新一代 NVIDIA NVLink 互聯(lián)技術(shù)的NVIDIA H800 GPU ，也可支持Intel® Gaudi®2 GPU，通過GPU承擔(dān)部分預(yù)算量繁重且耗時(shí)的代碼，實(shí)現(xiàn)應(yīng)用程序加速，加速企業(yè)實(shí)現(xiàn)更多計(jì)算任務(wù)、處理更大數(shù)據(jù)集、縮短應(yīng)用運(yùn)行時(shí)間，可為大模型訓(xùn)練提供強(qiáng)勁的算力支持。

同時(shí)，寶德自強(qiáng)AI訓(xùn)練服務(wù)器系列是基于鯤鵬處理器+昇騰910處理器打造的AI訓(xùn)練服務(wù)器，具有超強(qiáng)算力密度、高速網(wǎng)絡(luò)帶寬等特點(diǎn)。該系列服務(wù)器廣泛應(yīng)用于深度學(xué)習(xí)模型開發(fā)和訓(xùn)練，適用于智慧城市、智慧醫(yī)療、天文探索、石油勘探等需要大算力的行業(yè)領(lǐng)域。

推理服務(wù)器主要通過高并發(fā)的推理卡，面向CSP業(yè)務(wù)的數(shù)據(jù)中心推理以及ISV面向的私有端-網(wǎng)安、安防、智慧城市等市場(chǎng)，應(yīng)用于廣告、用戶畫像和視頻等場(chǎng)景。

對(duì)于需要更多變化的邊緣推理應(yīng)用場(chǎng)景，寶德計(jì)算也有對(duì)應(yīng)的邊緣推理設(shè)備，里面集成了英特爾嵌入式CPU，以及NVIDIA Jetson模組，來滿足客戶對(duì)于邊緣側(cè)的推理需求。

03

AI大模型需求背后是整個(gè)AI生態(tài)的建設(shè)

面向大模型需求，除了AI算力，還需要關(guān)注整個(gè)AI生態(tài)。這方面，寶德堅(jiān)持與國(guó)內(nèi)外AI芯片產(chǎn)業(yè)鏈頭部廠商深度合作，緊跟先進(jìn)技術(shù)做適配與研發(fā)，與Intel戰(zhàn)略合作20多年，是NVIDIA和昇騰的OEM合作伙伴，積極擁抱開放的AI芯片產(chǎn)業(yè)。同時(shí)，寶德建立AI生態(tài)適配中心，聚焦推理場(chǎng)景，與更多國(guó)產(chǎn)AI加速卡合作和適配，滿足客戶多樣性的算力需求。

此外，因?yàn)锳I大模型還涉及到算力基礎(chǔ)設(shè)施，包括高性能網(wǎng)絡(luò)和高性能存儲(chǔ)。寶德建議在AI服務(wù)器集群發(fā)展方面，除了考慮AI算力方面的優(yōu)勢(shì)，也要提前規(guī)劃好面向未來的高性能網(wǎng)絡(luò)和高性能存儲(chǔ)平臺(tái)，為算力基礎(chǔ)設(shè)施擴(kuò)容打好基礎(chǔ)。

“存儲(chǔ)擴(kuò)容和網(wǎng)絡(luò)擴(kuò)建，相對(duì)來說都比較復(fù)雜，因此在做大模型的初步方案設(shè)計(jì)時(shí)一定要將底層的根基——底層的高性能存儲(chǔ)加上中間的高性能網(wǎng)絡(luò)整個(gè)平臺(tái)搭建好?！?鄔鴻最后分享說， “我們給客戶設(shè)計(jì)整個(gè)方案，盡量將底層的存儲(chǔ)和網(wǎng)絡(luò)設(shè)計(jì)得更有預(yù)見性，為未來的擴(kuò)容留下更多的接口。”