Introduction - If you have any usage issues, please Google them yourself
搜索引擎通常由信息收集和信息检索两部分组成。对于英文,由于英文中词
与词之间是用空格隔开,检索起来很方便,故计算机采用了词处理的方式,大大
减轻了用户与计算机的工作量:相对来讲,中文的情形就复杂得多。中文的词与
词之间是没有分隔符的,因此若想建立基于词的索引,就需要专门的技术,这种
技术被称之为“汉语词语切分技术”。根据是否采用词语切分技术,中文搜索引
擎又可分为基于字的搜索引擎和基于词的搜索引擎。由于中文信息处理的特殊
性,开发中文搜索引擎决不像西文软件的汉化那样简单。在实现中文搜索引擎时,
不能照搬国外现成的技术,需要对中文的信息处理技术作专门地研究。自然语言
理解领域的应用已经越来越广,但是几乎任何一个基于汉语的系统,都必须经过
分词这一步。自动分词系统是中文信息处理中的一个主要组成部分,是中文自然
语言理解、文献检索、机器翻译及语音合成系统中最基本的一部分。在搜索引擎
中,为了进行中文信息小型化,需要提取关键知识,也就是说首先要分隔出单个
的中文词语,然后进行词频统计得到关键词。要开发中文搜索引擎,快速的中文
分词算法和可靠的汉化技术是至关重要的。本文将针对中文分词技术及近年来中
文分词技术的发展作一综述。
Packet : 中文分词技术及最新发展.rar filelist
中文分词技术及最新发展.pdf