【廣告】
大數(shù)據(jù)中心建設(shè)的功能特性
數(shù)據(jù)質(zhì)量管理
1. 質(zhì)量規(guī)則零代碼可配置,包括僅一性、準(zhǔn)確性、一致性、規(guī)范性等規(guī)則
2. 事前校驗(yàn)、事后評(píng)估方式發(fā)現(xiàn)及監(jiān)控?cái)?shù)據(jù)質(zhì)量,并進(jìn)行低分預(yù)警
1.19 數(shù)據(jù)加工算法組件;20 計(jì)算函數(shù)開箱即用,無(wú)須代碼開發(fā)
2.拖拽式操作實(shí)現(xiàn)跨庫(kù)的、大數(shù)據(jù)的融合加工
1. 質(zhì)量規(guī)則零代碼可配置,包括僅一性、準(zhǔn)確性、一致性、規(guī)范性等規(guī)則
2. 事前校驗(yàn)、事后評(píng)估方式發(fā)現(xiàn)及監(jiān)控?cái)?shù)據(jù)質(zhì)量,并進(jìn)行低分預(yù)警
大數(shù)據(jù)中心建設(shè)——模型設(shè)計(jì)
模型設(shè)計(jì)指導(dǎo)理論:
模型層次:把表數(shù)據(jù)模型分為三層:操作數(shù)據(jù)層(ODS)、公共維度模型層(CDM)和應(yīng)用數(shù)據(jù)層(ADS),青海大數(shù)據(jù)中心建設(shè)哪家好,其中公共維度模型層包括明細(xì)數(shù)據(jù)層(DWD)和匯總數(shù)據(jù)層(DWS)。
操作數(shù)據(jù)層(ODS):把操作系統(tǒng)數(shù)據(jù)幾乎無(wú)處理地存放在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中。
同步:結(jié)構(gòu)化數(shù)據(jù)增量或全量同步。
結(jié)構(gòu)化:非結(jié)構(gòu)化(日志)結(jié)構(gòu)化處理并存儲(chǔ)。
累積歷史、清洗:根據(jù)數(shù)據(jù)業(yè)務(wù)需求及稽核和審計(jì)要求保存歷史數(shù)據(jù)、清洗數(shù)據(jù)。
大數(shù)據(jù)中心建設(shè)——公共維度模型層(CDM)
存放明細(xì)事實(shí)數(shù)據(jù)、維表數(shù)據(jù)及公共指標(biāo)匯總數(shù)據(jù),運(yùn)動(dòng)大數(shù)據(jù)中心建設(shè)哪家好,其中明細(xì)事實(shí)數(shù)據(jù)、維表數(shù)據(jù)一般根據(jù)ODS層數(shù)據(jù)加工生成;公共指標(biāo)匯總數(shù)據(jù)一般根據(jù)維表數(shù)據(jù)和明細(xì)事實(shí)數(shù)據(jù)加工生成。
CDM層又細(xì)分為DWD層和DWS層,分別是明細(xì)數(shù)據(jù)層和匯總數(shù)據(jù)層,運(yùn)動(dòng)大數(shù)據(jù)中心建設(shè)哪家好,采用維度模型方法作為理論基礎(chǔ),更多地采用一些維度退化手法,將維度退化至事實(shí)表中,減少事實(shí)表和維表的關(guān)聯(lián),提高明細(xì)數(shù)據(jù)表的易用性;同時(shí)在匯總數(shù)據(jù)層,步態(tài)大數(shù)據(jù)中心建設(shè)哪家好,加強(qiáng)指標(biāo)的維度退化,采取更多的寬表化手段構(gòu)建公共指標(biāo)數(shù)據(jù)層,提升公共指標(biāo)的復(fù)用性,減少重復(fù)加工。其主要功能如下。
組合相關(guān)和相似數(shù)據(jù):采用明細(xì)寬表,復(fù)用關(guān)聯(lián)計(jì)算,減少數(shù)據(jù)掃描。
公共指標(biāo)統(tǒng)一加工:基于OneData體系構(gòu)建命名規(guī)范、口徑一致和算法統(tǒng)一的統(tǒng)計(jì)指標(biāo),為上層數(shù)據(jù)產(chǎn)品、應(yīng)用和服務(wù)提供公共指標(biāo);建立邏輯匯總寬表。
建立一致性維度:建立一致的數(shù)據(jù)分析維表,降低數(shù)據(jù)計(jì)算口徑、算法不統(tǒng)一的風(fēng)險(xiǎn)。
企業(yè): 北京中科匯成科技有限公司
手機(jī): 13011846930
電話: 010-56036900
地址: 北京市豐臺(tái)區(qū)西四環(huán)中路112號(hào)紫辰院