“jieba”中文分词：做最好的Python中文分词组件

安装

pip install jieba

特点

• 精确模式：试图将句子最精确地切开，适合文本分析.
• 全模式：把所有的可以成词的词语都扫描处理，速度非常快，但是不能解决歧义.
• 搜索引擎模式：在精确模式的基础上，对长词再次切分，适合用于引擎分词.
• 支持繁体分词.
• 支持自定义词典.
• MIT授权协议.

样例分享

样例要求

对如上文本文件实现中文分词，并且分词结果中不包含字母、标点、中英文停词（如，an、and、another、一定、一方面、一旦等）等内容，同时支持特定含义词组的切分（如“牛仔很忙”、"青花瓷"，不能分切分成"牛仔"，"很忙"，"青花”，"瓷"），分词结果输出至txt格式文件中。

要求解析：

1）分词结果中不包含字母、标点、中英文停词：

• 需要使用结巴模块的精确分词模式（适应文本分词），cut()进行分词处理。

jieba.cut(content)

• 需要中英文停词表（网上可查下载）。

• 需要通过正则过滤非中文数字内容，需要import re模块使用findall()方法。

re.findall(u'[\u4e00-\u9fa5]|[0-9]+', word)

2）支持特定含义词组的切分：

• 利用jieba支持导入自定义字典的特性，增加自定义字典。

jieba.load_userdict("Custom_dictionary.dic")?

源码分享

分词结果

更多中文分词的应用实例：中文词云！Python实现实例分享

转载请说明出处，若对你有帮助，点赞支持哦。