AIGC加速和大模型群雄并起，在數(shù)據(jù)資源和算法生態(tài)的基礎(chǔ)上，無(wú)論是訓(xùn)練還是推理，都離不開(kāi)大算力的支持，而且，隨著大模型競(jìng)賽的加劇AI算力需求正呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，算力困局亟需破解。作為中國(guó)領(lǐng)先的計(jì)算產(chǎn)品方案提供商和中國(guó)AI服務(wù)器TOP3，寶德計(jì)算積極學(xué)習(xí)和吸收業(yè)界先進(jìn)的AI技術(shù)和產(chǎn)品，加速算力的產(chǎn)品化和市場(chǎng)化，為中國(guó)大模型群雄競(jìng)技筑牢算力底座。

NVIDIA L40S GPU

NVIDIA L40S GPU基于 Ada Lovelace 架構(gòu)，搭載142個(gè)第三代RT Core、568個(gè)第四代Tensor Core，18176個(gè)CUDA核心和行業(yè)領(lǐng)先的 48 GB GDDR6 顯存、864GB/秒帶寬，是適用于數(shù)據(jù)中心的強(qiáng)大而通用的GPU，尤其能夠?yàn)榇笳Z(yǔ)言模型 (LLM) 推理和訓(xùn)練、圖形和視頻應(yīng)用提供突破性的多負(fù)載加速。

在AI訓(xùn)練和推理工作負(fù)載中NVIDIA L40S GPU表現(xiàn)卓越，它能夠在LLM上提供高達(dá)6倍的GPT-3+ AI訓(xùn)練速度和4倍的AI推理加速。而且采用Transformer 引擎逐層管理，無(wú)需 AI 框架或用戶干預(yù)即可自動(dòng)運(yùn)行。而且，與上一代相比，L40S提供2倍以上的單精度浮點(diǎn) (FP32) 吞吐量，運(yùn)算峰值增加了一倍，可大大加速工程仿真、科學(xué)模擬、物理計(jì)算等工作負(fù)載。

作為多模態(tài)生成式 AI 的首要平臺(tái)，NVIDIA L40S擁有同比上代 2倍加速的實(shí)時(shí)光線追蹤性能以及專(zhuān)用的編解碼引擎，提供更快的渲染速度和更高的每秒幀數(shù) (FPS)，并顯著降低延遲，有效加速AI 的音頻、語(yǔ)音、2D、視頻、虛擬和 3D 生成式 AI 應(yīng)用程序，強(qiáng)力支持實(shí)時(shí)渲染、產(chǎn)品設(shè)計(jì)和3D內(nèi)容創(chuàng)建等高保真的專(zhuān)業(yè)可視化工作負(fù)載。

作為NVIDIA OEM合作伙伴，寶德AI訓(xùn)練和AI推理等系列服務(wù)器一直保持與NVIDIA 新一代GPU卡的及時(shí)測(cè)試適配和技術(shù)調(diào)優(yōu)，致力于為用戶各種AI創(chuàng)新應(yīng)用和數(shù)字化內(nèi)容開(kāi)發(fā)和創(chuàng)建提供更強(qiáng)大的算力。

寶德AI訓(xùn)練服務(wù)器PR4910E/PR4910W

NVIDIA L40S GPU加持，寶德AI訓(xùn)練服務(wù)器PR4910E將為大模型拉滿算力。它可以支持10張全高全長(zhǎng)雙寬的NVIDIA L40S GPU卡，同時(shí)采用2顆身懷七大算力神器的第四代英特爾®至強(qiáng)®可擴(kuò)展處理器，最大可達(dá)60核心，為大模型訓(xùn)練提供強(qiáng)有力的算力支撐。它具有13 個(gè)PCIe x16 Gen5插槽，支持32個(gè) DIMM / DDR5內(nèi)存插槽，支持最新的400Gb ETH和NDR IB高速智能網(wǎng)卡，以及 GPU Direct RDMA，最多支持24個(gè) NVMe SSD，而且采用CPU 直通設(shè)計(jì)，大幅降低 I/O 延遲，為大模型數(shù)據(jù)存儲(chǔ)和傳輸提供高效可靠的保證。此外，它采用整機(jī)模塊化設(shè)計(jì)，支持靈活切換 CPU 和 GPU 的異構(gòu)拓?fù)浣Y(jié)構(gòu)，非常便于用戶的系統(tǒng)維護(hù)和管理。

寶德AI訓(xùn)練服務(wù)器PR4904E/PR4904W

值得一提的是，NVIDIA L40S GPU采用PCI-e4.0技術(shù)，可以兼容和支持第三代英特爾®至強(qiáng)服務(wù)器平臺(tái)，因此能夠幫助用戶合理利用和擴(kuò)展已有算力基礎(chǔ)設(shè)施，并最終降低用戶的TCO。目前，除了PR4910E，能夠適配N(xiāo)VIDIA L40S GPU的寶德AI訓(xùn)練服務(wù)器還有基于第三代英特爾®至強(qiáng)平臺(tái)的4U10卡服務(wù)器PR4910W、基于第四代/第三代英特爾®至強(qiáng)平臺(tái)、支持4卡的機(jī)塔互換式服務(wù)器PR4904E和PR4904W等，可以支持大模型用戶按需選擇和靈活配置，為其賽道競(jìng)技強(qiáng)力助攻。