當(dāng)今,信息技術(shù)為人類(lèi)步入智能社會(huì)開(kāi)啟了大門(mén),帶動(dòng)了互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、電子商務(wù)、現(xiàn)代物流、網(wǎng)絡(luò)金融等現(xiàn)代服務(wù)業(yè)發(fā)展,催生了車(chē)聯(lián)網(wǎng)、智能電網(wǎng)、新能源、智能交通、智能城市、高端裝備制造等新興產(chǎn)業(yè)發(fā)展.現(xiàn)代信息技術(shù)正成為各行各業(yè)運(yùn)營(yíng)和發(fā)展的引擎.但這個(gè)引擎正面臨著大數(shù)據(jù)這個(gè)巨大的考驗(yàn).各種業(yè)務(wù)數(shù)據(jù)正以幾何級(jí)數(shù)的形式爆發(fā),其格式、收集、儲(chǔ)存、檢索、分析、應(yīng)用等諸多問(wèn)題,不再能以傳統(tǒng)的信息處理技術(shù)加以解決,對(duì)人類(lèi)實(shí)現(xiàn)數(shù)字社會(huì)、網(wǎng)絡(luò)社會(huì)和智能社會(huì)帶來(lái)了極大的障礙.

數(shù)據(jù)無(wú)疑是新型信息技術(shù)服務(wù)和科學(xué)研究的基石,而大數(shù)據(jù)處理技術(shù)理所當(dāng)然地成為當(dāng)今信息技術(shù)發(fā)展的核心熱點(diǎn),大數(shù)據(jù)處理技術(shù)的蓬勃發(fā)展也預(yù)示著又一次信息技術(shù)革命的到來(lái).另一方面,隨著國(guó)家經(jīng)濟(jì)結(jié)構(gòu)調(diào)整、產(chǎn)業(yè)升級(jí)的不斷深化,信息處理技術(shù)的作用將日益凸顯,而大數(shù)據(jù)處理技術(shù)無(wú)疑將成為在國(guó)民經(jīng)濟(jì)支柱產(chǎn)業(yè)信息化建設(shè)中實(shí)現(xiàn)核心技術(shù)的彎道追趕、跟隨發(fā)展、應(yīng)用突破、減少綁架的**突破點(diǎn).

大數(shù)據(jù)帶來(lái)的不僅是機(jī)遇,同時(shí)也是挑戰(zhàn).傳統(tǒng)的數(shù)據(jù)處理手段已經(jīng)無(wú)法滿(mǎn)足大數(shù)據(jù)的海量實(shí)時(shí)需求,需要采用新一代的信息技術(shù)來(lái)應(yīng)對(duì)大數(shù)據(jù)的爆發(fā).大數(shù)據(jù)技術(shù)一般歸納為五大類(lèi)：

基礎(chǔ)架構(gòu)支持：主要包括為支撐大數(shù)據(jù)處理的基礎(chǔ)架構(gòu)級(jí)數(shù)據(jù)中心管理、云計(jì)算平臺(tái)、云存儲(chǔ)設(shè)備及技術(shù)、網(wǎng)絡(luò)技術(shù)、資源監(jiān)控等技術(shù).大數(shù)據(jù)處理需要擁有大規(guī)模物理資源的云數(shù)據(jù)中心和具備高效的調(diào)度管理功能的云計(jì)算平臺(tái)的支撐.

數(shù)據(jù)采集技術(shù)：數(shù)據(jù)采集技術(shù)是數(shù)據(jù)處理的必備條件,首先需要有數(shù)據(jù)采集的手段,把信息收集上來(lái),才能應(yīng)用上層的數(shù)據(jù)處理技術(shù).數(shù)據(jù)采集除了各類(lèi)傳感設(shè)備等硬件軟件設(shè)施之外,主要涉及到的是數(shù)據(jù)的ETL(采集、轉(zhuǎn)換、加載)過(guò)程,能對(duì)數(shù)據(jù)進(jìn)行清洗、過(guò)濾、校驗(yàn)、轉(zhuǎn)換等各種預(yù)處理,將有效的數(shù)據(jù)轉(zhuǎn)換成適合的格式和類(lèi)型.同時(shí),為了支持多源異構(gòu)的數(shù)據(jù)采集和存儲(chǔ)訪(fǎng)問(wèn),還需設(shè)計(jì)企業(yè)的數(shù)據(jù)總線(xiàn),方便企業(yè)各個(gè)應(yīng)用和服務(wù)之間數(shù)據(jù)的交換和共享.

數(shù)據(jù)存儲(chǔ)技術(shù)：數(shù)據(jù)經(jīng)過(guò)采集和轉(zhuǎn)換之后,需要存儲(chǔ)歸檔.針對(duì)海量的大數(shù)據(jù),一般可以采用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)的存儲(chǔ)方式,把數(shù)據(jù)分布到多個(gè)存儲(chǔ)節(jié)點(diǎn)上,同時(shí)還需提供備份、安全、訪(fǎng)問(wèn)接口及協(xié)議等機(jī)制.

數(shù)據(jù)計(jì)算：我們把與數(shù)據(jù)查詢(xún)、統(tǒng)計(jì)、分析、預(yù)測(cè)、挖掘、圖譜處理、BI商業(yè)智能等各項(xiàng)相關(guān)的技術(shù)統(tǒng)稱(chēng)為數(shù)據(jù)計(jì)算技術(shù).數(shù)據(jù)計(jì)算技術(shù)涵蓋數(shù)據(jù)處理的方方面面,也是大數(shù)據(jù)技術(shù)的核心.

數(shù)據(jù)展現(xiàn)與交互：數(shù)據(jù)展現(xiàn)與交互在大數(shù)據(jù)技術(shù)中也至關(guān)重要,因?yàn)閿?shù)據(jù)最終需要為人們所使用,為生產(chǎn)、運(yùn)營(yíng)、規(guī)劃提供決策支持.選擇恰當(dāng)?shù)?、生?dòng)直觀的展示方式能夠幫助我們更好地理解數(shù)據(jù)及其內(nèi)涵和關(guān)聯(lián)關(guān)系,也能夠更有效地解釋和運(yùn)用數(shù)據(jù),發(fā)揮其價(jià)值.在展現(xiàn)方式上,除了傳統(tǒng)的報(bào)表、圖形之外,我們還可以結(jié)合現(xiàn)代化的可視化工具及人機(jī)交互手段,甚至是基于最新的處理技術(shù)增強(qiáng)現(xiàn)實(shí)手段,來(lái)實(shí)現(xiàn)數(shù)據(jù)與現(xiàn)實(shí)的無(wú)縫接口.

北京理工大學(xué)大數(shù)據(jù)搜索與挖掘?qū)嶒?yàn)室張華平主任研發(fā)的NLPIR大數(shù)據(jù)語(yǔ)義智能分析技術(shù)是滿(mǎn)足大數(shù)據(jù)挖掘?qū)φZ(yǔ)法、詞法和語(yǔ)義的綜合應(yīng)用。NLPIR大數(shù)據(jù)語(yǔ)義智能分析平臺(tái)是根據(jù)中文數(shù)據(jù)挖掘的綜合需求,融合了網(wǎng)絡(luò)精準(zhǔn)采集、自然語(yǔ)言理解、文本挖掘和語(yǔ)義搜索的研究成果,并針對(duì)互聯(lián)網(wǎng)內(nèi)容處理的全技術(shù)鏈條的共享開(kāi)發(fā)平臺(tái)。

NLPIR大數(shù)據(jù)語(yǔ)義智能分析平臺(tái)主要有精準(zhǔn)采集、文檔轉(zhuǎn)化、新詞發(fā)現(xiàn)、批量分詞、語(yǔ)言統(tǒng)計(jì)、文本聚類(lèi)、文本分類(lèi)、摘要實(shí)體、智能過(guò)濾、情感分析、文檔去重、全文檢索、編碼轉(zhuǎn)換等十余項(xiàng)功能模塊，平臺(tái)提供了客戶(hù)端工具，云服務(wù)與二次開(kāi)發(fā)接口等多種產(chǎn)品使用形式。各個(gè)中間件API可以無(wú)縫地融合到客戶(hù)的各類(lèi)復(fù)雜應(yīng)用系統(tǒng)之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系統(tǒng)平臺(tái)，可以供Java，Python，C，C#等各類(lèi)開(kāi)發(fā)語(yǔ)言使用。

大數(shù)據(jù)挖掘已成為大數(shù)據(jù)技術(shù)最重要的應(yīng)用，它從大數(shù)據(jù)中提取、挖掘?qū)I(yè)務(wù)發(fā)展有價(jià)值的、潛在的知識(shí)，找出趨勢(shì)，為決策層提供有力依據(jù)，對(duì)產(chǎn)品或服務(wù)發(fā)展方向起到積極作用，將有力推動(dòng)企業(yè)內(nèi)部的科學(xué)化、信息化管理。在信息管理領(lǐng)域，綜合應(yīng)用數(shù)據(jù)分析技術(shù)和人工智能技術(shù)，獲取用戶(hù)知識(shí)、文獻(xiàn)知識(shí)等各類(lèi)知識(shí)，將是實(shí)現(xiàn)知識(shí)檢索和知識(shí)管理發(fā)展的必經(jīng)之路。