時間：2023-08-01來源：本站
大模型時代，AI存力與算力同樣不容忽視
1
數(shù)據(jù)歸集速度慢且來源復雜，預處理階段難以實現(xiàn)統(tǒng)一訪問。數(shù)據(jù)類型多元復雜，服務協(xié)議多樣，傳統(tǒng)存儲面向單一數(shù)據(jù)類型設計，難以以統(tǒng)一的方式進行訪問和處理，數(shù)據(jù)歸集流程慢。
2
海量小文件數(shù)據(jù)加載慢，存儲性能不足導致算力無法充分發(fā)揮。大模型對存儲系統(tǒng)的讀寫性能要求較高，特別是在訓練過程中需要頻繁地讀取和寫入數(shù)據(jù)，而且需要支持快速的隨機訪問。數(shù)據(jù)通常以圖片、文檔等小文件的形式存在，由于這些小文件的數(shù)量巨大，傳統(tǒng)存儲系統(tǒng)可能無法高效地處理這些數(shù)據(jù)，導致加載速度緩慢。
3
寶貴的研究數(shù)據(jù)，在各個階段面臨可靠性和安全性問題。大模型通常使用敏感數(shù)據(jù)進行訓練和推斷，在存儲時需要保證數(shù)據(jù)的安全性和完整性，防止數(shù)據(jù)外泄、篡改或被惡意攻擊。一旦存儲數(shù)據(jù)損壞或丟失，可能會導致訓練結果的丟失或者準確性下降。
4
大容量存儲需求。大模型需要處理大量的數(shù)據(jù)，包括輸入數(shù)據(jù)和模型參數(shù)。這些數(shù)據(jù)往往非常龐大，需要大量的存儲空間來保存。
極致性能
海量小文件高吞吐量、計算客戶端高讀寫
寶德PLStor GS9200提供了業(yè)內領先的基于os內核程序優(yōu)化設計的原生客戶端，以一客戶端對多臺存儲節(jié)點的方式并行讀寫數(shù)據(jù)，支持RDMA技術。整個系統(tǒng)能提供上TB/s級的吞吐帶寬。
在實際運行中，寶德PLStor GS9200的單臺計算節(jié)點能夠充分利用自身的網(wǎng)絡吞吐極限能力，進行數(shù)據(jù)讀寫。例如，配置了400Gbps Infiniband網(wǎng)絡的PLStor GS9200單臺節(jié)點可以獲得≥45GB/s的讀寫帶寬。寶德PLStor GS9200在性能測試中表現(xiàn)出色，相比于業(yè)內友商和開源系統(tǒng)，每塊Nvme-SSD在該系統(tǒng)中可以提供超過4.3GB/s的讀寫性能，提升了150%；而每塊SATA硬盤的讀寫性能超過120MB/s，提升了80%。
存算融合
多級存儲滿足不同階段的數(shù)據(jù)存儲需求
寶德PLStor GS9200采用存算融合的設計，可以整合計算節(jié)點內的存儲資源，構建全局命名空間的近線存儲池。這使得AI計算可以像訪問本地資源一樣訪問并行文件系統(tǒng)，實現(xiàn)文件共享和高并發(fā)讀寫訪問。通過存算融合的部署方案，可以實現(xiàn)靈活配置數(shù)量來擴展GPU/CPU計算資源和存儲資源，以滿足動態(tài)擴展的業(yè)務需求。
數(shù)據(jù)安全無小事，軟硬實力兩手抓
寶德PLStor GS9200保證并行存儲系統(tǒng)在數(shù)據(jù)安全性、高并發(fā)讀寫、高空間利用率三者皆得。它采用N+M糾刪碼來設置數(shù)據(jù)保護等級，并具備自動故障檢測與恢復機制，實現(xiàn)硬件系統(tǒng)故障自動快速恢復重建。系統(tǒng)同時支持智能快照功能，可以創(chuàng)建多達無限數(shù)量的基于增量歷史時間點拷貝。當發(fā)生數(shù)據(jù)“軟”故障，比如軟件程序導致的數(shù)據(jù)損壞、病毒破壞、意外刪除等，可以通過對合適的時間點標記進行“回滾”來快速恢復數(shù)據(jù)。此外，系統(tǒng)還支持權限控制列表ACL等功能，以及更多可靈活配置的文件訪問權限控制選項，以滿足不同場景下的數(shù)據(jù)安全存儲和訪問需求。
數(shù)據(jù)湖存儲多協(xié)議互通，實現(xiàn)平臺高效管理
寶德PLStor GS9200數(shù)據(jù)湖存儲支持塊、文件、對象、大數(shù)據(jù)等存儲協(xié)議，并且支持POSI/NFS/CIFS/HDFS/S3/Swift等多種協(xié)議互通，可同時訪問同一文件，避免因訪問協(xié)議不同造成的數(shù)據(jù)拷貝。它還支持多協(xié)議同時讀寫，無明顯語義損失，支持文件修改寫、對象多段上傳等常用語義，無需配置額外的網(wǎng)關。同時數(shù)據(jù)可根據(jù)應用需要在數(shù)據(jù)湖中進行可視的流動，簡化數(shù)據(jù)歸集流程，實現(xiàn)統(tǒng)一平臺管理，大大提升業(yè)務與管理效率。
寶德服務器
寶德自強
4008-870-872
點擊咨詢
