大數(shù)據(jù)中心建設(shè)——硬件設(shè)備介紹

硬件設(shè)備主要指的是IT設(shè)備、電力設(shè)備。IT設(shè)備中，服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、安全設(shè)備和光模塊等組成，其中服務(wù)器的采購成本大，核心組件大體分三大項(xiàng)CPU、GPU和DRAM。因?yàn)椋酒杀驹诜?wù)器中的比例很高，并且隨著服務(wù)器的升級，成本會(huì)逐漸提高。所以，服務(wù)器相關(guān)的芯片股還是不錯(cuò)的。電力設(shè)備主要指UPS、變壓器等，我們這里主要說UPS。因?yàn)椋瑪?shù)據(jù)中心本來就是一個(gè)靠電力工作的地方，UPS在這里的應(yīng)用可以說是比較適合不過的。當(dāng)然，UPS在很多領(lǐng)域都得到的應(yīng)用，領(lǐng)域不同設(shè)備也不同。

大數(shù)據(jù)中心建設(shè)的功能

數(shù)據(jù)管理

1.多源異構(gòu)數(shù)據(jù)的統(tǒng)一管理、統(tǒng)一查詢等，支持字段級、行級權(quán)限控制

2.數(shù)據(jù)標(biāo)簽管理，進(jìn)行數(shù)據(jù)畫像及檢索應(yīng)用

1.支持文件元數(shù)據(jù)定義， 及文件的上傳、預(yù)覽、導(dǎo)出控制

2.支持服務(wù)器磁盤、HDFS、Hbase等多種文件存儲(chǔ)方式

1. 數(shù)據(jù)有哪些、是什么、在哪里一目了然

2. 企業(yè)級結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一的資源目錄，及數(shù)據(jù)查詢與申請

大數(shù)據(jù)中心建設(shè)——公共維度模型層（CDM）

存放明細(xì)事實(shí)數(shù)據(jù)、維表數(shù)據(jù)及公共指標(biāo)匯總數(shù)據(jù)，其中明細(xì)事實(shí)數(shù)據(jù)、維表數(shù)據(jù)一般根據(jù)ODS層數(shù)據(jù)加工生成；公共指標(biāo)匯總數(shù)據(jù)一般根據(jù)維表數(shù)據(jù)和明細(xì)事實(shí)數(shù)據(jù)加工生成。

CDM層又細(xì)分為DWD層和DWS層，分別是明細(xì)數(shù)據(jù)層和匯總數(shù)據(jù)層，采用維度模型方法作為理論基礎(chǔ)，更多地采用一些維度退化手法，將維度退化至事實(shí)表中，減少事實(shí)表和維表的關(guān)聯(lián)，提高明細(xì)數(shù)據(jù)表的易用性；同時(shí)在匯總數(shù)據(jù)層，加強(qiáng)指標(biāo)的維度退化，采取更多的寬表化手段構(gòu)建公共指標(biāo)數(shù)據(jù)層，提升公共指標(biāo)的復(fù)用性，減少重復(fù)加工。其主要功能如下。

組合相關(guān)和相似數(shù)據(jù)：采用明細(xì)寬表，復(fù)用關(guān)聯(lián)計(jì)算，減少數(shù)據(jù)掃描。

公共指標(biāo)統(tǒng)一加工：基于OneData體系構(gòu)建命名規(guī)范、口徑一致和算法統(tǒng)一的統(tǒng)計(jì)指標(biāo)，為上層數(shù)據(jù)產(chǎn)品、應(yīng)用和服務(wù)提供公共指標(biāo)；建立邏輯匯總寬表。

建立一致性維度：建立一致的數(shù)據(jù)分析維表，降低數(shù)據(jù)計(jì)算口徑、算法不統(tǒng)一的風(fēng)險(xiǎn)。