產(chǎn)品介紹
分詞技術(shù)屬于自然語言理解技術(shù)的范疇,是語義理解的首要環(huán)節(jié),它是能將語句中的詞語正確切分開的一種技術(shù)。它是文本分類,信息檢索,機(jī)器翻譯,自動(dòng)標(biāo)引,文本的語音輸入輸出等領(lǐng)域的基礎(chǔ)。
NLPIR大數(shù)據(jù)語義智能分析平臺(tái)十三大功能：
采集：對(duì)境內(nèi)外互聯(lián)網(wǎng)海量信息實(shí)時(shí)采集，有主題采集(按照信息需求的主題采集)與站點(diǎn)采集兩種模式(給定網(wǎng)址列表的站內(nèi)定點(diǎn)采集功能)。
文檔轉(zhuǎn)化：對(duì)doc、excel、pdf與ppt等多種主流文檔格式，進(jìn)行文本信息轉(zhuǎn)化，效率達(dá)到大數(shù)據(jù)處理的要求。
新詞發(fā)現(xiàn)：從文本中挖掘出新詞、新概念，用戶可以用于專業(yè)詞典的編撰，還可以進(jìn)一步編輯標(biāo)注，導(dǎo)入分詞詞典中，提高分詞系統(tǒng)的準(zhǔn)確度，并適應(yīng)新的語言變化。
批量分詞：對(duì)原始語料進(jìn)行分詞，自動(dòng)識(shí)別人名地名機(jī)構(gòu)名等未登錄詞，新詞標(biāo)注以及詞性標(biāo)注。并可在分析過程中，導(dǎo)入用戶定義的詞典。
語言統(tǒng)計(jì)：針對(duì)切分標(biāo)注結(jié)果，系統(tǒng)可以自動(dòng)地進(jìn)行一元詞頻統(tǒng)計(jì)、二元詞語轉(zhuǎn)移概率統(tǒng)計(jì)。針對(duì)常用的術(shù)語，會(huì)自動(dòng)給出相應(yīng)的英文解釋。
文本聚類：能夠從大規(guī)模數(shù)據(jù)中自動(dòng)分析出熱點(diǎn)事件，并提供事件話題的關(guān)鍵特征描述。同時(shí)適用于長文本和短信、微博等短文本的熱點(diǎn)分析。
文本分類：根據(jù)規(guī)則或訓(xùn)練的方法對(duì)大量文本進(jìn)行分類，可用于新聞分類、簡歷分類、郵件分類、文檔分類、區(qū)域分類等諸多方面。
摘要實(shí)體：對(duì)單篇或多篇文章，自動(dòng)提煉出內(nèi)容摘要，抽取人名、地名、機(jī)構(gòu)名、時(shí)間及主題關(guān)鍵詞;方便用戶快速瀏覽文本內(nèi)容。
智能過濾：對(duì)文本內(nèi)容的語義智能過濾審查，內(nèi)置國內(nèi)全詞庫，智能識(shí)別多種變種：形變、音變、繁簡等多種變形，語義排歧。
情感分析：針對(duì)事先指定的分析對(duì)象，系統(tǒng)自動(dòng)分析海量文檔的情感傾向：情感極性及情感值測量，并在原文中給出正負(fù)面的得分和句子樣例。
文檔去重：快速準(zhǔn)確地判斷文件集合或數(shù)據(jù)庫中是否存在相同或相似內(nèi)容的記錄，同時(shí)找出所有的重復(fù)記錄。
全文檢索：支持文本、數(shù)字、日期、字符串等各種數(shù)據(jù)類型，多字段的 搜索，支持AND/OR/NOT以及NEAR鄰近等查詢語法，支持維語、藏語、蒙語、阿拉伯、韓語等多種少數(shù)民族語言的檢索。
編碼轉(zhuǎn)換：自動(dòng)識(shí)別內(nèi)容的編碼，并把編碼統(tǒng)一轉(zhuǎn)換為其他編碼。
