python jieba分词的使用

jieba分词的使用

一、简单分词

使用 jieba.cut(), jieba.lcut() 完成，后者返回 list 的结果，有三种分词模式：精确模式、全模式、搜索引擎模式。

jieba.cut(sentence,cut_all=False,HMM=True) # 精确模式
jieba.cut(sentence,cut_all=True,HMM=True) # 全模式
jieba.cut_for_search (sentence, HMM=True) # 搜索引擎模式

sentence为需要分词的字符串，可以是unicode 或 UTF-8字符串，GBK字符串可能解码错误；
cut_all 参数用来控制是否采用全模式，默认为False；
HMM 参数用来控制是否使用 HMM 模型。

举例

import jieba
sentence="做人还是平常点好，争这个争那个，争来争去赔了自己的命。像我这样，说起来是越混越没出息，\
可寿命长，我认识的人一个挨着一个死去，我还活着。"

seg_list=jieba.cut(sentence,cut_all=False,HMM=True)
print("精确模式: " + "/ ".join(seg_list))

seg_list=jieba.cut(sentence,cut_all=True,HMM=True)
print("全模式: " + "/ ".join(seg_list))

seg_list=jieba.cut_for_search(sentence,HMM=True)
print<