信息技術(shù)的飛速發(fā)展伴隨了海量的數(shù)據(jù)累積,其中很大 一部分是文本數(shù)據(jù)。對海量文本數(shù)據(jù)進(jìn)行分析和挖掘,從中獲取有用的知識,成為關(guān)注熱點。

數(shù)據(jù)挖掘技術(shù)本身就是當(dāng)前數(shù)據(jù)技術(shù)發(fā)展的新領(lǐng)域,文本挖掘則發(fā)展歷史更短.傳統(tǒng)的信息檢索技術(shù)對于海量數(shù)據(jù)的處理并不盡如人意,文本挖掘便日益重要起來,可見文本挖掘技術(shù)是從信息抽取以及相關(guān)技術(shù)領(lǐng)域中慢慢演化而成的.

文本挖掘,或文本數(shù)據(jù)庫中的知識發(fā)現(xiàn)(KnowledgeDiscoveryfromTextualDatabases),是從大量文本數(shù)據(jù)中提取以前所未知的、有用的、可理解的模式或知識的過程。它的挖掘?qū)ο笫前虢Y(jié)構(gòu)化或非結(jié)構(gòu)化的,許多經(jīng)典挖掘算法如決策樹、數(shù)值預(yù)測等都不能直接應(yīng)用于文本挖掘。同時自然語言文本中包含多層次的歧義(詞匯、句法、語義、語用等),這給文本挖掘帶來很多困難。

傳統(tǒng)的文本挖掘方法基于向量空間模型(VSM)。VSM把文本表示為詞頻的向量并基于此向量進(jìn)行文檔相似度的計算。由于不能利用文檔的語義信息而只把文檔看作詞的集合,基于向量空間模型的文本挖掘難以達(dá)到更高的準(zhǔn)確度。盡管很多研究者對VSM進(jìn)行了各種改進(jìn)來引入語義信息,目前缺乏一種系統(tǒng)的方法來對文本挖掘中的語義信息進(jìn)行表示和管理。

靈玖軟件NLPIR大語義智能分析平臺針對中文數(shù)據(jù)挖掘的綜合需求,融合了網(wǎng)絡(luò)精準(zhǔn)采集、自然語言理解、文本挖掘和語義搜索的研究成果,先后歷時十八年,服務(wù)了全球四十萬家機(jī)構(gòu)用戶,是大時代語義智能分析的一大利器。

NLPIR大語義智能分析平臺平臺針對互聯(lián)網(wǎng)內(nèi)容處理的需要，融合了自然語言理解、網(wǎng)絡(luò)搜索和文本挖掘的技術(shù)，提供了用于技術(shù)二次開發(fā)的基礎(chǔ)工具集。

NLPIR能夠全方位多角度滿足應(yīng)用者對大數(shù)據(jù)文本的處理需求，包括大數(shù)據(jù)完整的技術(shù)鏈條：網(wǎng)絡(luò)采集、正文提取、中英文分詞、詞性標(biāo)注、實體抽取、詞頻統(tǒng)計、關(guān)鍵詞提取、語義信息抽取、文本分類、情感分析、語義深度擴(kuò)展、繁簡編碼轉(zhuǎn)換、自動注音、文本聚類等。

中文信息處理技術(shù)從70年代的蓬勃發(fā)展至今，僅僅經(jīng)歷了短短20多年的時間，便完成了由初級階段向比較成熟階段的過渡，這是微電子技術(shù)和IT技術(shù)高速發(fā)展以及迫切的應(yīng)用需求所促成的。

隨著信息技術(shù)在我國社會生活各個領(lǐng)域應(yīng)用的深入,中文信息處理正在成為人們工作和生活中不可或缺的手段，中文信息處理將具有更加廣闊的市場。NLPIR大語義智能中文信息處理技術(shù)已成為中文信息技術(shù)研究、發(fā)展、應(yīng)用和產(chǎn)業(yè)的提供了重要的幫助，在互聯(lián)網(wǎng)日益成長的今天，NLPIR大語義智能中文信息處理技術(shù)將會更加成熟并創(chuàng)新。