新闻资讯

中文分词技术原理与应用

2017-07-10 16:36:37 ipbrother.zmz 301

    10个人有9个人不知道中文分词,也这是很多做SEO的硬伤,如果连最基本的搜索引擎中文分词技术算法都不知道,只能用一句摸着石头过河来形容了。深度了解百度中文技术可以让搜索引擎排名变得简单化,清晰化。那么如何理解中文分词技术是本文的核心课点。首先在了解百度中文技术以前要了解一个语义分析系统,搜索引擎不像人的大脑一样可以很直接的通用意识行为来判别一个网页的核心主题。


    比如我们作为一个用户看到一篇文章叫做我的父亲,对于用户而言,你最直观的感觉的就是该网页文章的核心关键词就是父亲,绝对不是我或者的,之所以有这种感觉那是因为所谓用户来思考,父亲是一个名词,我是代词,的是助词。但是对于搜索引擎本身来讲它是不可能像人的大脑一样思考这个意识来决定网页核心主题的,对于中国人来说,语义分析和词性则是搜索引擎利用区别网页核心关键词的主要方式,比如我们都知道中文有名词、形容词、动词、介词、副词等等。并且不同的词性他的含义和作用也完全不一样,那么搜索引擎如何借助词性来判断关键词的核心主题呢?


    如果我们从大范围来讲,一个网页的主题包含的关键词不少,但是真正有价值的关键词其实就那么几个,并且这些有价值的词我们暂且称为核心关键词。从词性来看,多数这些有价值的词均为名词形态,如果不了解该词到底属于什么关键词词性可以通过语义分析系统去识别,也可以对照一下自己网站的关键词,核心词绝对是以名词为主。


    一般来说,核心关键词定位多数都是名词+动词,或者名词+形容词,比如小明在奔跑,该标题对于用户来说,都知道核心关键词是小明,没了小明奔跑就没有任何价值了。但是对于搜索引擎来说肯定不理解,从上面我们所讲到的分词原理,可以了解到该词的核心关键词也是小明,因为小明是名词,奔跑是动词,也叫做名+动。当然定位核心关键词的首要条件是必须是词性的频次相等的情况下才会优先将名词定位核心关键词,比如漂亮_漂亮同义词_漂亮的含义,虽然该标题里面漂亮是形容词,并且也包含了其他名词,但是为何核心词是漂亮而不是其他名词,因为频次相同才会将名词定位核心词,频次不相同优先将频次最大的关键词定位核心关键词。