運(yùn)營商O域數(shù)據(jù)中心承擔(dān)著在網(wǎng)絡(luò)運(yùn)行維護(hù)過程中采集、處理各環(huán)節(jié)信息,從而為網(wǎng)絡(luò)規(guī)劃、設(shè)備運(yùn)行、業(yè)務(wù)發(fā)展等多方面提供決策支持的任務(wù),是運(yùn)營商業(yè)務(wù)支撐的關(guān)鍵系統(tǒng)之一。隨著運(yùn)營商信令類數(shù)據(jù)量的迅速增長、數(shù)據(jù)源種類的變化和用戶日益增長的通信需求,數(shù)據(jù)中心對數(shù)據(jù)庫的實(shí)時性、可用性、安全性等能力提出了更高的要求。
為進(jìn)一步優(yōu)化平臺架構(gòu)、提升O域數(shù)據(jù)處理能力與管理水平,北京移動2022年開始啟動數(shù)據(jù)共享平臺能力優(yōu)化項(xiàng)目,項(xiàng)目引入睿帆科技雪球數(shù)據(jù)庫Snowball替換原有數(shù)據(jù)庫,構(gòu)建運(yùn)營商數(shù)據(jù)中心實(shí)時數(shù)倉,為數(shù)據(jù)中心提供全面的數(shù)據(jù)庫服務(wù)支撐。
國產(chǎn)創(chuàng)新,深入核心
雪球數(shù)據(jù)庫Snowball是一款睿帆科技自主研發(fā)的支持PB級數(shù)據(jù)量的、高并發(fā)的OLAP數(shù)據(jù)庫管理系統(tǒng),具備高可用、高性能、高容錯等特性。優(yōu)于傳統(tǒng)數(shù)據(jù)庫10倍以上的超快查詢速度、每秒數(shù)百萬行的超強(qiáng)寫入性能與1000節(jié)點(diǎn)以上的超強(qiáng)擴(kuò)展性,使得雪球數(shù)據(jù)庫Snowball不僅滿足超大規(guī)模數(shù)據(jù)量下對查詢性能要求極其苛刻的應(yīng)用場景,更是構(gòu)建大規(guī)模、實(shí)時數(shù)據(jù)倉庫的核心基石。
憑借睿帆科技在運(yùn)營商領(lǐng)域深耕近10年的經(jīng)驗(yàn)和對運(yùn)營商業(yè)務(wù)技術(shù)的深厚積累,雪球數(shù)據(jù)庫Snowball已成功服務(wù)全國超過半數(shù)省份的運(yùn)營商用戶,在多個運(yùn)營商核心系統(tǒng)持續(xù)平穩(wěn)運(yùn)行多年,因此成為本次北京移動的首選產(chǎn)品。
平滑替代,全面升級
在本次改造前,北京移動數(shù)據(jù)中心一直使用的是Hbase。作為成熟分布式存儲系統(tǒng)之一,HBase雖然具備高可靠、高性能、可伸縮的優(yōu)勢,但在使用過程中也存在著查詢時延大、查詢模式單一、運(yùn)維復(fù)雜等難題,很難滿足北京移動數(shù)據(jù)多維及時分析要求。
要完成本次國產(chǎn)數(shù)據(jù)庫產(chǎn)品的替換,不僅需要在功能、安全性、穩(wěn)定性上達(dá)到原有Hbase水平,還要具備快速查詢的能力,滿足北京移動各級人員訪問和相關(guān)重點(diǎn)應(yīng)用數(shù)據(jù)計(jì)算需求;在性能和容量上,更要同時滿足數(shù)據(jù)實(shí)時處理和海量存儲的需求。
歷時數(shù)月,經(jīng)過多輪測試,睿帆團(tuán)隊(duì)在不影響原系統(tǒng)架構(gòu)和邏輯的前提下,依托與原庫的極致兼容性,準(zhǔn)確、高效、低風(fēng)險地將原庫數(shù)據(jù)無損移植到雪球數(shù)據(jù)庫Snowball,并進(jìn)一步完成多項(xiàng)能力的擴(kuò)展與提升:
1.不僅支撐了海量數(shù)據(jù)入庫查詢這類通用場景,還擴(kuò)展了即席分析、實(shí)時數(shù)據(jù)合成、實(shí)時數(shù)據(jù)匯聚等多種業(yè)務(wù)能力,沉淀了實(shí)時數(shù)倉的構(gòu)建能力,提升了運(yùn)營商數(shù)據(jù)中心項(xiàng)目中模型計(jì)算的及時性;
2.在保障現(xiàn)網(wǎng)業(yè)務(wù)穩(wěn)定性的前提下,先后完成了大吞吐入庫的性能提升優(yōu)化、查詢接口的兼容性適配、數(shù)據(jù)查詢效率優(yōu)化、數(shù)據(jù)合成算法的計(jì)算性能優(yōu)化、告警數(shù)據(jù)入庫及時性的優(yōu)化等多項(xiàng)優(yōu)化內(nèi)容;
3.通過在雪球數(shù)據(jù)庫Snowball中使用小批次關(guān)聯(lián)計(jì)算,實(shí)現(xiàn)了VoLTE話單的多接口關(guān)聯(lián),將原有的關(guān)聯(lián)合成時延從2小時提升至10分鐘,并最終實(shí)現(xiàn)了15分鐘粒度的核心網(wǎng)問題的異常定位能力。
平穩(wěn)運(yùn)行,賦能一線
截至今年,雪球數(shù)據(jù)庫Snowball已在北京移動數(shù)據(jù)共享平臺上線運(yùn)行近兩年,穩(wěn)定、高效地支撐起O域數(shù)據(jù)中心各項(xiàng)任務(wù),在效率提升、成本控制、客戶感知等方面成效顯著:
1.提升一線工作效率:在完成VoLTExdr從Hbase向雪球數(shù)據(jù)庫Snowball的遷移后,基于VoLTE的多維查詢提數(shù)效率顯著提升,SQL查詢時間縮短80%以上,從原本的幾小時縮短到幾分鐘,有效提升業(yè)務(wù)人員工作效率;
2.降低軟硬件成本:雪球數(shù)據(jù)庫Snowball的引入提升了運(yùn)營商數(shù)據(jù)中心項(xiàng)目中模型計(jì)算的及時性,節(jié)省了服務(wù)器硬件的投入,并實(shí)現(xiàn)綜合節(jié)省資源30%。
3.提升客戶感知:為客戶滿意度分析、業(yè)務(wù)感知指標(biāo)分析提供數(shù)據(jù)與算力支持,間接協(xié)助提升客戶感知。
近年來,雪球數(shù)據(jù)庫Snowball持續(xù)服務(wù)運(yùn)營商、軌交、政務(wù)等各行業(yè)數(shù)字化轉(zhuǎn)型升級,憑借高性能、可靠性、易用性等贏得北京移動、四川移動、廣州公安等眾多客戶認(rèn)可。未來,睿帆科技將繼續(xù)加強(qiáng)研發(fā)投入和自主創(chuàng)新,加速推動雪球數(shù)據(jù)庫Snowball迭代升級與重點(diǎn)行業(yè)典型場景應(yīng)用落地,以高水平科技創(chuàng)新賦能千行百業(yè)高質(zhì)量發(fā)展。
相關(guān)稿件