NLPIR系统的中文语义分析模式介绍

随着计算机的使用范围更加广泛，社会信息化程度提高，计算机的使用频率增加，人们对自然语言理解也提出了更高的要求，而对于自然语言的理解，则基于中文语义分析的研究和分析。
自然语言中，语义是指篇章中所有句意的综合，句子的语义又由其组成单位词来确定。所以对中文语义的分析，其最后的落脚点是分析最小的基本单位-词，进而达到分析效果。对词语的解析包括对词义，词之间关系的解析，这些是中文语义分析的基础，也是进行信息抽取、机器翻译等应用的基础问题。对篇章级别的语义分析，主要是提取文本的主题和类别方面，进而实现对大规模文本的管理和挖掘。
中文语义分析不仅包括事物的本质，还包括事物之间的关系。语义分析是对事物本身和其逻辑关系进行描述，通过对文本中包含的信息和其关系进行识别，构建计算模型，进而使机器能够理解人类语言。互联网时代，数据量大幅度增加，面对数据时代的海量文本数据，信息提取，信息分类等技术都需要不断的提升。
在对中文语义分析时也会面临技术难点。单词切分中，中文的多样性给中文分词带来了一定难度，对中文的分词往往要建立在语义理解的基础上。同时，中文现在并没有一个公认的用于计算机处理的语法规则，这也就给中文分析带来了困难。现中文分词基于统计和词典的分词方法上，要统筹好分词精度和分词速度的关系。同时，中文词汇通常有多个含义，在进行语义分析的过程中，还要尽可能降低分析中不可避免的歧义现象。
北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。现NLPIR大数据语义分析系统能够全方位多角度完成对大数据文本的处理需求，包括大数据完整的技术链条：网络抓取、正文提取、中英文分词、词性标注、实体抽取、词频统计、关键词提取、语义信息抽取、文本分类、情感分析、语义深度扩展、繁简编码转换、自动注音、文本聚类等。