百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

使用Python对文本进行分词的一些准备工作

bigegpt 2024-09-10 11:16 11 浏览

提到分词,那么最常用的库就是jieba了。

文本分析中一个重要的准备工作就是分词。所谓分词就是把一个句子切分成一个个词组。例如:

import jieba

str1 = '2024年,公司决定启动IPO'

print(jieba.lcut(str1))

输出:

['2024', '年', ',', '公司', '决定', '启动', 'IPO']

在分词之前,我们可以进行一些准备工作,使得分词之后的结果更符合我们的预期。

首先,加载对应领域的词库。公司类研究可以用一些财经词库,词库在输入法的网站会有得下载,使用下面的语句可以加载对应的词库:

jieba.load_userdict('财经词库.txt')

这会加载路径下的词库文件,加载后,一些本来会被分开的词语就会被更好的区分为一个整体,例如:

import jieba

str1 = '委托候选人名单'

print(jieba.lcut(str1))

jieba.load_userdict('财经词库.txt')

print('加载词库后')
print(jieba.lcut(str1))

输出结果:

可以看到,加载词库后,这个委托候选人名单并没有被分开。jieba库也提供了一些微调的方案。如:

  • 使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。
  • 使用 suggest_freq(segment, tune=True) 可调节单个词语的词频,使其能(或不能)被分出来。

其次,使用停用词,筛选掉一些没有意义的词汇。

停用词库网上有许多,通常是一些无意义的词语,如语气词等等,例如这是在网上找到的停用词表:

通常,单个字符通常含有的含义也非常有限,我们也会将他去除。所以,我们可以采取这样的方式:

import jieba

stop_word = []
with open('stop_word.txt', 'r', encoding='utf-8')as f:
    for i in f.readlines():
        stop_word.append(i.replace('\n', '').strip())
# 加载停用词

def m_cut(intxt):
    return [w for w in jieba.cut(intxt)
            if w not in stop_word and len(w) > 1]
            #筛选掉在停用词中的,且长度为1的词语。

我们就可以使用编写好的m_cut进行分词了。

至此,准备工作基本上准备就绪,可以开展分词工作了。

相关推荐

Go语言泛型-泛型约束与实践(go1.7泛型)

来源:械说在Go语言中,Go泛型-泛型约束与实践部分主要探讨如何定义和使用泛型约束(Constraints),以及如何在实际开发中利用泛型进行更灵活的编程。以下是详细内容:一、什么是泛型约束?**泛型...

golang总结(golang实战教程)

基础部分Go语言有哪些优势?1简单易学:语法简洁,减少了代码的冗余。高效并发:内置强大的goroutine和channel,使并发编程更加高效且易于管理。内存管理:拥有自动垃圾回收机制,减少内...

Go 官宣:新版 Protobuf API(go pro版本)

原文作者:JoeTsai,DamienNeil和HerbieOng原文链接:https://blog.golang.org/a-new-go-api-for-protocol-buffer...

Golang开发的一些注意事项(一)(golang入门项目)

1.channel关闭后读的问题当channel关闭之后再去读取它,虽然不会引发panic,但会直接得到零值,而且ok的值为false。packagemainimport"...

golang 托盘菜单应用及打开系统默认浏览器

之前看到一个应用,用go语言编写,说是某某程序的windows图形化客户端,体验一下发现只是一个托盘,然后托盘菜单的控制面板功能直接打开本地浏览器访问程序启动的webserver网页完成gui相关功...

golang标准库每日一库之 io/ioutil

一、核心函数概览函数作用描述替代方案(Go1.16+)ioutil.ReadFile(filename)一次性读取整个文件内容(返回[]byte)os.ReadFileioutil.WriteFi...

文件类型更改器——GoLang 中的 CLI 工具

我是如何为一项琐碎的工作任务创建一个简单的工具的,你也可以上周我开始玩GoLang,它是一种由Google制作的类C编译语言,非常轻量和快速,事实上它经常在Techempower的基准测...

Go (Golang) 中的 Channels 简介(golang channel长度和容量)

这篇文章重点介绍Channels(通道)在Go中的工作方式,以及如何在代码中使用它们。在Go中,Channels是一种编程结构,它允许我们在代码的不同部分之间移动数据,通常来自不同的goro...

Golang引入泛型:Go将Interface「」替换为“Any”

现在Go将拥有泛型:Go将Interface{}替换为“Any”,这是一个类型别名:typeany=interface{}这会引入了泛型作好准备,实际上,带有泛型的Go1.18Beta...

一文带你看懂Golang最新特性(golang2.0特性)

作者:腾讯PCG代码委员会经过十余年的迭代,Go语言逐渐成为云计算时代主流的编程语言。下到云计算基础设施,上到微服务,越来越多的流行产品使用Go语言编写。可见其影响力已经非常强大。一、Go语言发展历史...

Go 每日一库之 java 转 go 遇到 Apollo?让 agollo 来平滑迁移

以下文章来源于GoOfficialBlog,作者GoOfficialBlogIntroductionagollo是Apollo的Golang客户端Apollo(阿波罗)是携程框架部门研...

Golang使用grpc详解(golang gcc)

gRPC是Google开源的一种高性能、跨语言的远程过程调用(RPC)框架,它使用ProtocolBuffers作为序列化工具,支持多种编程语言,如C++,Java,Python,Go等。gR...

Etcd服务注册与发现封装实现--golang

服务注册register.gopackageregisterimport("fmt""time"etcd3"github.com/cor...

Golang:将日志以Json格式输出到Kafka

在上一篇文章中我实现了一个支持Debug、Info、Error等多个级别的日志库,并将日志写到了磁盘文件中,代码比较简单,适合练手。有兴趣的可以通过这个链接前往:https://github.com/...

如何从 PHP 过渡到 Golang?(php转golang)

我是PHP开发者,转Go两个月了吧,记录一下使用Golang怎么一步步开发新项目。本着有坑填坑,有错改错的宗旨,从零开始,开始学习。因为我司没有专门的Golang大牛,所以我也只能一步步自己去...