以客戶為中心，提供定制化或一站式的全棧解決方案，賦能千行百業(yè)
xx網(wǎng)安支隊(duì)規(guī)劃在全區(qū)的網(wǎng)吧、大型連鎖門(mén)店、重點(diǎn)路段公共電話亭及公共汽車(chē)站等重點(diǎn)區(qū)域部署移動(dòng)終端硬件特征采集設(shè)備，對(duì)區(qū)域內(nèi)的移動(dòng)終端設(shè)備進(jìn)行監(jiān)控。實(shí)現(xiàn)數(shù)據(jù)采集、實(shí)時(shí)回傳、數(shù)據(jù)匯總（數(shù)據(jù)倉(cāng)庫(kù)）、進(jìn)入報(bào)警及軌跡追蹤等功能，為公安機(jī)關(guān)在公共 WIFI 管控工作中提供有力的抓手。
隨著XX網(wǎng)安投入的采集設(shè)備的增多，數(shù)據(jù)接入量的增大，業(yè)務(wù)分析場(chǎng)景愈加復(fù)雜，這些都要求有更強(qiáng)大的數(shù)據(jù)倉(cāng)庫(kù)支撐。原有的基于RDBMS 數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)接近性能瓶頸；所以上海XX網(wǎng)安迫切需要一種更先進(jìn)的技術(shù)，既能解決當(dāng)前遇到的問(wèn)題，也能滿足未來(lái)業(yè)務(wù)發(fā)展 需求。RDBMS 遇到的問(wèn)題主要體現(xiàn)在如下四個(gè)方面：
1、數(shù)據(jù) ETL 耗時(shí)越來(lái)越長(zhǎng)，無(wú)法滿足目標(biāo)系統(tǒng)對(duì)數(shù)據(jù)的時(shí)效性要求，關(guān)鍵任務(wù)的 SLA不能得到保證。
2、RDBMS 性能優(yōu)化（index & partition）無(wú)法逾越 I/O 瓶頸，同時(shí)，數(shù)據(jù)倉(cāng)庫(kù)不斷增加 index 和 partition 也增加了系統(tǒng)在加載時(shí)的資源消耗，同時(shí)增加了系統(tǒng)維護(hù)度。
3、由于性能原因，使隨機(jī)查詢能力受限，檢索場(chǎng)景僅支持7天數(shù)據(jù)，無(wú)法針對(duì)較長(zhǎng)時(shí) 間軸進(jìn)行實(shí)時(shí)追蹤。
4、目前的系統(tǒng)架構(gòu)不支持線性擴(kuò)展，使數(shù)據(jù)的存儲(chǔ)得到制約，擴(kuò)容需要花費(fèi)高成本以 購(gòu)買(mǎi)大型設(shè)備，即便如此，也無(wú)法控制數(shù)據(jù)增長(zhǎng)帶來(lái)的性能處理壓力。
下圖是基于寶德大數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì)及數(shù)據(jù)流轉(zhuǎn)：
| 尺寸 | 2U機(jī)架式服務(wù)器，86.1mm(高)* 447mm(寬)* 790mm(深)
|
| CPU | 配置兩顆6230R/26C/52T/主頻2.1GHz處理器
|
| 硬盤(pán)位 | 提供12個(gè)3.5寸硬盤(pán)槽位，配置2塊960G SSD系統(tǒng)盤(pán)、10塊4TB數(shù)據(jù)盤(pán) |
| 網(wǎng)口 | 4個(gè)千兆電口，4個(gè)萬(wàn)兆光口（含4個(gè)萬(wàn)兆光模塊） |
| RAID | 2G緩存RAID陣列卡（支持RAID0 1 10 ）并配置超級(jí)電容 |
| PCIE插槽 | 配置至少4個(gè)PCIe插槽 |
| 電源 | 配置2個(gè)交流電源模塊，1+1 |
| 操作系統(tǒng) | Centos7.6 |
寶德大數(shù)據(jù)一體機(jī)（PR2715P2）是寶德公司最新推出的一款2U服務(wù)器產(chǎn)品，它采用Intel C620系列高性能芯片組，支持第二代Intel® Xeon® Processor Scalable可擴(kuò)展系列處理器，該機(jī)型最多支持內(nèi)存容量3 TB，默認(rèn)支持8塊熱插拔3.5寸硬盤(pán)，可選支持12盤(pán)/24盤(pán)版本，并可靈活擴(kuò)展全高全長(zhǎng)的PCI-E設(shè)備。高集成度的設(shè)計(jì)在有限空間內(nèi)帶來(lái)強(qiáng)勁的性能表現(xiàn)足以支撐關(guān)鍵任務(wù)的運(yùn)行。PR2715P2提供先進(jìn)的管理功能和存儲(chǔ)技術(shù)，具有可靠的可擴(kuò)充性和高可用性。
主要流程是采集設(shè)備收集到源數(shù)據(jù)后，經(jīng)過(guò)光柵，一部份數(shù)據(jù)會(huì)傳輸?shù)?ftp 服務(wù)器，數(shù) 據(jù)調(diào)度服務(wù)器發(fā)現(xiàn) ftp 服務(wù)器有新數(shù)據(jù)到來(lái)，會(huì)對(duì)數(shù)據(jù)進(jìn)行清洗整合，然后匯總到 inceptor 數(shù)據(jù)倉(cāng)庫(kù)以及 hyperbase 檢索庫(kù)中，另一個(gè)部分?jǐn)?shù)據(jù)直接通過(guò)分布式消息隊(duì)列，進(jìn)入到 hyperbase 檢索庫(kù)中，前臺(tái)應(yīng)用系統(tǒng)便可對(duì)數(shù)據(jù)進(jìn)行訪問(wèn)和使用。
截止到目前為止，上海XX網(wǎng)安已經(jīng)完全替換了之前的RDBMS數(shù)據(jù)庫(kù)，且平穩(wěn)運(yùn)行1 年左右，累計(jì)存儲(chǔ)150T數(shù)據(jù)，周增長(zhǎng)數(shù)據(jù)量在4t左右，前端應(yīng)用系統(tǒng)反饋良好，隨著近年來(lái)公安業(yè)務(wù)的不斷開(kāi)展，和硬件設(shè)備的不斷補(bǔ)充，存儲(chǔ)量和處理量的不斷增加，TDH大數(shù)據(jù)平臺(tái)通過(guò)線性擴(kuò)展完全可以滿足要求。
單用戶分析快速查詢采用了寶德hyperbase組件進(jìn)行實(shí)現(xiàn)，通過(guò)寶德強(qiáng)大的sql支持以及jdbc接口，再配合寶德的全文搜索引擎search組件，能夠以優(yōu)越的低延時(shí)響應(yīng)速度 查詢準(zhǔn)確結(jié)果，保障業(yè)務(wù)的穩(wěn)定運(yùn)行。
寶德服務(wù)器
寶德自強(qiáng)
4008-870-872
點(diǎn)擊咨詢
