jieba 分词的三种模式1. 精确模式精确分词最常用模式将句子最精确地切分适合文本分析。importjieba jieba.cut(我来到北京清华大学,cut_allFalse)# 我 / 来到 / 北京 / 清华大学2. 全模式把句子中所有可以成词的词语都扫描出来速度最快但存在歧义和冗余。jieba.cut(我来到北京清华大学,cut_allTrue)# 我 / 来到 / 北京 / 清华 / 清华大学 / 华大 / 大学3. 搜索引擎模式在精确模式基础上对长词再次切分提高召回率适合搜索引擎分词。jieba.cut_for_search(我来到北京清华大学)# 我 / 来到 / 北京 / 清华 / 华大 / 大学 / 清华大学三种模式对比模式方法特点适用场景精确模式cut(text, cut_allFalse)最精确无冗余文本分析、NLP 任务全模式cut(text, cut_allTrue)速度快有冗余词语发现、粗粒度统计搜索引擎模式cut_for_search(text)长词再切分高召回搜索引擎索引补充功能自定义词典jieba.load_userdict()加载领域词典提升专业术语识别率关键词提取jieba.analyse.extract()基于 TF-IDFjieba.analyse.textrank()基于 TextRank词性标注jieba.posseg.cut()输出词性标签返回类型cut()返回生成器generatorcut()的lcut变体返回列表
