大數(shù)據(jù)中心建設(shè)的功能

數(shù)據(jù)管理

1.多源異構(gòu)數(shù)據(jù)的統(tǒng)一管理、統(tǒng)一查詢等，支持字段級(jí)、行級(jí)權(quán)限控制

2.數(shù)據(jù)標(biāo)簽管理，進(jìn)行數(shù)據(jù)畫像及檢索應(yīng)用

1.支持文件元數(shù)據(jù)定義， 及文件的上傳、預(yù)覽、導(dǎo)出控制

2.支持服務(wù)器磁盤、HDFS、Hbase等多種文件存儲(chǔ)方式

1. 數(shù)據(jù)有哪些、是什么、在哪里一目了然

2. 企業(yè)級(jí)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一的資源目錄，及數(shù)據(jù)查詢與申請(qǐng)

大數(shù)據(jù)中心建設(shè)的功能特性

數(shù)據(jù)質(zhì)量管理

1. 質(zhì)量規(guī)則零代碼可配置，包括僅一性、準(zhǔn)確性、一致性、規(guī)范性等規(guī)則

2. 事前校驗(yàn)、事后評(píng)估方式發(fā)現(xiàn)及監(jiān)控?cái)?shù)據(jù)質(zhì)量，并進(jìn)行低分預(yù)警

1.19 數(shù)據(jù)加工算法組件；20 計(jì)算函數(shù)開(kāi)箱即用，無(wú)須代碼開(kāi)發(fā)

2.拖拽式操作實(shí)現(xiàn)跨庫(kù)的、大數(shù)據(jù)的融合加工

1. 質(zhì)量規(guī)則零代碼可配置，包括僅一性、準(zhǔn)確性、一致性、規(guī)范性等規(guī)則

大數(shù)據(jù)中心建設(shè)——模型設(shè)計(jì)

模型設(shè)計(jì)指導(dǎo)理論：

模型層次：把表數(shù)據(jù)模型分為三層：操作數(shù)據(jù)層（ODS）、公共維度模型層（CDM）和應(yīng)用數(shù)據(jù)層（ADS），其中公共維度模型層包括明細(xì)數(shù)據(jù)層（DWD）和匯總數(shù)據(jù)層（DWS）。

操作數(shù)據(jù)層（ODS）：把操作系統(tǒng)數(shù)據(jù)幾乎無(wú)處理地存放在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中。

同步：結(jié)構(gòu)化數(shù)據(jù)增量或全量同步。

結(jié)構(gòu)化：非結(jié)構(gòu)化（日志）結(jié)構(gòu)化處理并存儲(chǔ)。

累積歷史、清洗：根據(jù)數(shù)據(jù)業(yè)務(wù)需求及稽核和審計(jì)要求保存歷史數(shù)據(jù)、清洗數(shù)據(jù)。