世界進入21世紀后，移動互聯(lián)、社交網(wǎng)諾、電子商務等將互聯(lián)網(wǎng)的作用大大拓展了。?與此同時，我們產(chǎn)生數(shù)據(jù)的速度也大大加快了。在近十年內(nèi)產(chǎn)生的數(shù)據(jù)量比之前所有時間產(chǎn)生的數(shù)據(jù)量還多得多。我們的衣食住行都被“搬上了網(wǎng)”，所以各種數(shù)據(jù)都在膨脹變大。而且，當數(shù)據(jù)的量大了之后，數(shù)據(jù)本身也能產(chǎn)生數(shù)據(jù)，比如大數(shù)據(jù)分析又會得到許多新的數(shù)據(jù)，所以大數(shù)據(jù)是信息時代必然的產(chǎn)物。

數(shù)據(jù)分析給現(xiàn)代社會帶來了新的機遇與挑戰(zhàn)。一方面，與傳統(tǒng)研究側(cè)重于揭示事物的共性不同，大數(shù)據(jù)研究將有助于人們發(fā)現(xiàn)事物的個體特性，并針對每一個體的特性給出個體化的解決方案。同時，大數(shù)據(jù)研究也將使人們能夠從大量個體的差異變化中，揭示其中存在的難以察覺的規(guī)律。另一方面，大數(shù)據(jù)的海量樣本規(guī)模和高維數(shù)特征也引入以下顯著特性：數(shù)據(jù)搜集的偏差性、數(shù)據(jù)產(chǎn)生的異母體性、計算成本、噪音的累積疊加、假關聯(lián)性、外生性，以及測量誤差等等。為了應對這些挑戰(zhàn)，需要引入新的計算和統(tǒng)計方法。

首先，從計算的角度來看，大數(shù)據(jù)提供的數(shù)據(jù)量巨大，這會給實施統(tǒng)計計算和最后完成統(tǒng)計估算和檢驗帶來問題。比如，對于一個列數(shù)上百萬的矩陣，一次簡單的矩陣求逆操作在計算上都是困難的。其次，從統(tǒng)計分析的角度來看，大數(shù)據(jù)經(jīng)常包含被抽樣個體的大量特征信息，即樣本的個異性和高維性。個異性和高維性給統(tǒng)計分析與計算帶來諸多問題，包括異母體、噪音累積、假相關、內(nèi)生性。

互聯(lián)網(wǎng)時代,“資源”的含義正在發(fā)生極大的變化,它已不再僅僅只是指煤、石油、礦產(chǎn)等一些看得見、摸得著的實體，“大數(shù)據(jù)”，也正在演變成不可或缺的戰(zhàn)略資源。互聯(lián)網(wǎng)、物聯(lián)網(wǎng)每天都在產(chǎn)生大量的數(shù)據(jù)，這些龐大的數(shù)據(jù)資源，為人們依據(jù)數(shù)據(jù)了解世界、了解市場、了解人們的生活提供了可能。大數(shù)據(jù)已經(jīng)被視為一種資產(chǎn)、一種財富、一種可以被衡量和計算的價值。得大數(shù)據(jù)者得天下，是一些推崇大數(shù)據(jù)時代的變革者所堅信不疑的判斷。

北京理工大學大數(shù)據(jù)搜索與挖掘?qū)嶒炇覐埲A平主任研發(fā)的NLPIR大數(shù)據(jù)語義智能分析技術是對語法、詞法和語義的綜合應用。NLPIR大數(shù)據(jù)語義智能分析平臺是根據(jù)中文數(shù)據(jù)挖掘的綜合需求,融合了網(wǎng)絡精準采集、自然語言理解、文本挖掘和語義搜索的研究成果,并針對互聯(lián)網(wǎng)內(nèi)容處理的全技術鏈條的共享開發(fā)平臺。

其中KGB(Knowledge Graph Builder)知識圖譜引擎是我們自主研發(fā)的知識圖譜構建與推理引擎，基于漢語詞法分析的基礎上，采用KGB語法實現(xiàn)了實時高效的知識生成，可以從非結構化文本中抽取各類知識，并實現(xiàn)了從表格中抽取指定的內(nèi)容等。KGB同時可以定義不同的動作，如抽取動作，并能自定義各類后處理程序。利用KGB知識圖譜引擎可以抽取到產(chǎn)品的詳細報價信息，方便進行下一步的數(shù)據(jù)挖掘與圖譜構建。

數(shù)據(jù)挖掘技術及其應用是目前國際上的一個研究熱點，并在許多行業(yè)中得到了很好的應用，尤其是在市場營銷中獲得了成功，初步體現(xiàn)了其優(yōu)越性和發(fā)展?jié)摿?。在信息管理領域，綜合應用數(shù)據(jù)挖掘技術和人工智能技術，獲取用戶知識、文獻知識等各類知識，將是實現(xiàn)知識檢索和知識管理發(fā)展的必經(jīng)之路。