大數(shù)據(jù)中心建設的功能

數(shù)據(jù)管理

1.多源異構(gòu)數(shù)據(jù)的統(tǒng)一管理、統(tǒng)一查詢等，支持字段級、行級權限控制

2.數(shù)據(jù)標簽管理，進行數(shù)據(jù)畫像及檢索應用

1.支持文件元數(shù)據(jù)定義， 及文件的上傳、預覽、導出控制

2.支持服務器磁盤、HDFS、Hbase等多種文件存儲方式

1. 數(shù)據(jù)有哪些、是什么、在哪里一目了然

2. 企業(yè)級結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一的資源目錄，及數(shù)據(jù)查詢與申請

大數(shù)據(jù)中心建設的功能特性

數(shù)據(jù)質(zhì)量管理

1. 質(zhì)量規(guī)則零代碼可配置，包括僅一性、準確性、一致性、規(guī)范性等規(guī)則

2. 事前校驗、事后評估方式發(fā)現(xiàn)及監(jiān)控數(shù)據(jù)質(zhì)量，并進行低分預警

1.19 數(shù)據(jù)加工算法組件；20 計算函數(shù)開箱即用，無須代碼開發(fā)

2.拖拽式操作實現(xiàn)跨庫的、大數(shù)據(jù)的融合加工

1. 質(zhì)量規(guī)則零代碼可配置，包括僅一性、準確性、一致性、規(guī)范性等規(guī)則

大數(shù)據(jù)中心建設——模型設計

模型設計指導理論：

模型層次：把表數(shù)據(jù)模型分為三層：操作數(shù)據(jù)層（ODS）、公共維度模型層（CDM）和應用數(shù)據(jù)層（ADS），其中公共維度模型層包括明細數(shù)據(jù)層（DWD）和匯總數(shù)據(jù)層（DWS）。

操作數(shù)據(jù)層（ODS）：把操作系統(tǒng)數(shù)據(jù)幾乎無處理地存放在數(shù)據(jù)倉庫系統(tǒng)中。

同步：結(jié)構(gòu)化數(shù)據(jù)增量或全量同步。

結(jié)構(gòu)化：非結(jié)構(gòu)化（日志）結(jié)構(gòu)化處理并存儲。

累積歷史、清洗：根據(jù)數(shù)據(jù)業(yè)務需求及稽核和審計要求保存歷史數(shù)據(jù)、清洗數(shù)據(jù)。