進(jìn)入信息時(shí)代，保存在計(jì)算機(jī)中的文件和數(shù)據(jù)量正在以指數(shù)速度增長，同時(shí)人們期望從數(shù)據(jù)中獲得更有用的信息。實(shí)際上，這些數(shù)據(jù)中只有一小部分有用，但人們卻渴求獲得知識(shí)，正面臨“數(shù)據(jù)豐富而知識(shí)貧乏”的問題，所以迫切需要一種新的技術(shù)從海量數(shù)據(jù)中自動(dòng)、高效的提取所需要的有用知識(shí)，這時(shí)，數(shù)據(jù)挖掘技術(shù)由此而生。

數(shù)據(jù)挖掘是一個(gè)以數(shù)據(jù)庫、人工智能、數(shù)理統(tǒng)計(jì)、可視化四大支柱技術(shù)為基礎(chǔ)，我們知道，描述或說明一個(gè)算法設(shè)計(jì)分為三個(gè)部分：輸入、輸出和處理過程。數(shù)據(jù)挖掘算法的輸入是數(shù)據(jù)庫，算法的輸出是要發(fā)現(xiàn)的知識(shí)或模式，算法的處理過程則設(shè)計(jì)具體的搜索方法。從算法的輸入、輸出和處理過程三個(gè)角度分，可以確定數(shù)據(jù)挖掘主要涉及三個(gè)方面：挖掘?qū)ο?、挖掘任?wù)、挖掘方法。挖掘?qū)ο蟀ㄈ舾煞N數(shù)據(jù)庫或數(shù)據(jù)源，例如關(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、空間數(shù)據(jù)庫、時(shí)態(tài)數(shù)據(jù)庫、文本數(shù)據(jù)庫、多媒體數(shù)據(jù)庫、歷史數(shù)據(jù)庫，以及萬維網(wǎng)(WEB)等。挖掘方法可以粗分為：統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫方法。統(tǒng)計(jì)方法可細(xì)分為：回歸分析、判別分析等。機(jī)器學(xué)習(xí)可細(xì)分為：遺傳算法等。神經(jīng)網(wǎng)絡(luò)方法可細(xì)分為：前向神經(jīng)網(wǎng)絡(luò)、自組織神經(jīng)網(wǎng)絡(luò)等。數(shù)據(jù)庫方法主要是多維數(shù)據(jù)分析方法等。

數(shù)據(jù)挖掘技術(shù)是一個(gè)多步驟、可能需多次反復(fù)的處理過程。主要包括以下幾步:準(zhǔn)備、數(shù)據(jù)選擇、數(shù)據(jù)預(yù)處理、數(shù)據(jù)縮減、確定數(shù)據(jù)挖掘的目標(biāo)、確定知識(shí)發(fā)現(xiàn)算法、數(shù)據(jù)挖掘(Data?Mining)、模式解釋、知識(shí)評(píng)價(jià)。其中最重要的一個(gè)步驟是數(shù)據(jù)挖掘,它是利用某些特定的知識(shí)發(fā)現(xiàn)算法,在可接受的運(yùn)算效率的限制下,從有效數(shù)據(jù)中發(fā)現(xiàn)有關(guān)的知識(shí)。

靈玖軟件NLPIR大數(shù)據(jù)語義智能分析平臺(tái)針對中文數(shù)據(jù)挖掘的綜合需求,融合了網(wǎng)絡(luò)精準(zhǔn)采集、自然語言理解、文本挖掘和語義搜索的研究成果,先后歷時(shí)十八年,服務(wù)了全球四十萬家機(jī)構(gòu)用戶,是大時(shí)代語義智能分析的一大利器。

NLPIR大數(shù)據(jù)語義智能分析平臺(tái)平臺(tái)針對互聯(lián)網(wǎng)內(nèi)容處理的需要，融合了自然語言理解、網(wǎng)絡(luò)搜索和文本挖掘的技術(shù)，提供了用于技術(shù)二次開發(fā)的基礎(chǔ)工具集。

NLPIR能夠全方位多角度滿足應(yīng)用者對大數(shù)據(jù)文本的處理需求，包括大數(shù)據(jù)完整的技術(shù)鏈條：網(wǎng)絡(luò)采集、正文提取、中英文分詞、詞性標(biāo)注、實(shí)體抽取、詞頻統(tǒng)計(jì)、關(guān)鍵詞提取、語義信息抽取、文本分類、情感分析、語義深度擴(kuò)展、繁簡編碼轉(zhuǎn)換、自動(dòng)注音、文本聚類等。

“大數(shù)據(jù)”的本質(zhì)實(shí)際上是數(shù)據(jù)生產(chǎn)的社會(huì)化，其對統(tǒng)計(jì)尤其是政府統(tǒng)計(jì)的沖擊是重大的，不僅涉及到整個(gè)統(tǒng)計(jì)流程，更加對當(dāng)前的政府統(tǒng)計(jì)管理體制、機(jī)構(gòu)設(shè)置、數(shù)據(jù)價(jià)值等方面形成了挑戰(zhàn)?？梢源竽戭A(yù)測，未來政府統(tǒng)計(jì)的政府角色會(huì)被統(tǒng)計(jì)**性取代，經(jīng)濟(jì)分析的職能會(huì)被更為**的經(jīng)濟(jì)分析部門取代，宏觀數(shù)據(jù)的重要性會(huì)讓位于更有信息價(jià)值的微觀數(shù)據(jù)。

數(shù)據(jù)挖掘技術(shù)是一個(gè)發(fā)展十分快的領(lǐng)域， 隨著對數(shù)據(jù)挖掘技術(shù)在各領(lǐng)域日益廣泛的應(yīng)用，實(shí)現(xiàn)了數(shù)據(jù)資源共享及技術(shù)發(fā)展的跨域，從而大大提高了工作效率，并帶來巨大的成功。