經(jīng)過20多年的發(fā)展,寶德持續(xù)而深刻地把握市場需求,積累了海量的客戶資源和豐富的服務經(jīng)驗
運營商省公司原清賬單系統(tǒng)建立在小型機及高端存儲設(shè)備上。為了實現(xiàn)海量數(shù)據(jù)存儲和快速導入,原系統(tǒng)把明細清單壓縮存放到文件系統(tǒng)中,數(shù)據(jù)庫只保留索引信息以滿足查詢性能的要求。隨著時間推移,數(shù)量增長,需找到新的解決方案來滿足龐大數(shù)據(jù)和響應體系的支持。
當前存在一些實際問題,新的系統(tǒng)是否能有效解決問題,是本次設(shè)計方案的關(guān)鍵所在:
1、通過文件存儲定長記錄的方式,程序難以修改。原有清單中心基于266字節(jié)的定長格式,但新融合計費項目上線,清單格式增長至1024字節(jié)。
2、文件系統(tǒng)缺乏常規(guī)查詢語言,入SQL,HIVE等,舊的已經(jīng)不能滿足越來越多統(tǒng)計需求。
3、系統(tǒng)需要不斷增加新字段,文件系統(tǒng)無法擴展。
4、文件系統(tǒng)不支持數(shù)據(jù)庫常規(guī)更新功能,詳單沖銷、修正、補信息等功能難以實現(xiàn)。
5、隨著新詳單格式改變,存儲空間及性能相應需要增加5倍。擴展費用高昂。
方案概述
系統(tǒng)必須能夠高效處理海量數(shù)據(jù)
1、單月清單數(shù)據(jù)量約1000億條*1k/條=100TB,6個月高達600TB~700TB。
2、系統(tǒng)要求從600TB清單數(shù)據(jù)中檢索某個用戶某個月的清單記錄,響應時間小于1秒。
3、支持高峰期美妙2000個并發(fā)訪問查詢
4、滿足現(xiàn)在清帳單業(yè)務的查詢統(tǒng)計需求(23類)
5、實時入庫,清單文件無積壓。
6、對聯(lián)機分析必須提供標準編程接口,支持SQL/JDBC/ODBC等。
高擴展性和高可用
1、用戶程序查詢數(shù)據(jù)不需要知道底層細節(jié),比如數(shù)據(jù)分布細節(jié)
2、可以水平擴展
3、允許多臺機器故障的場景下,業(yè)務不中斷