【20201012】Python编程中的字符串编码转换问题
bigegpt 2024-10-10 04:35 5 浏览
介绍
介绍
福哥今天给大家讲讲关于Python编程中的字符串编码转换的问题,这个问题在初学者编程时候会经常遇到,如果要弄清楚这里面的道道,还是需要好好学习一下的
什么是编码
所谓编码就是计算机标记一个汉字(或者是其他国家的文字)对应的数字,在不同编码情况下同样的一个汉字会对应不同的数字,比如:“福哥”在gbk编码里对应的是“205 172 184 163”,在gbk编码里一个汉字对应两个数字,而“福哥”在utf-8编码里对应的是“229 144 140 231 166 143”,在utf-8编码里一个汉字对应三个数字。
常用编码
- GBK,英文全称Chinese Internal Code Specification,中文全称《汉字内码扩展规范》,所谓的“国标”编码方式
- UTF-8,英文全称Universal Character Set/Unicode Transformation Format,是比较通用的一种编码方式,支持几乎全部国家的语言文字
- BIG5,大五码,是用于繁体汉字的编码方式
- ISO8859-1,单字节编码,是早期用于英文的网页的编码方式
- Unicode,统一码,就是所有国家的语言文字编码都会有一个方法转换成Unicode编码,然后Unicode编码又可以转换所有国家的语言文字编码。所以,python在进行编码转换时候都是先用decode转为unicode,再用encode转为目标编码
IDLE编码
在编辑器里定义的字符串常量也是有编码设置的,这个编码可以通过脚本“页头”进行声明
声明方法
在脚本页头使用coding指定脚本默认编码
声明编码之后,后面代码里出现的常量字符串都会是这个编码了
系统编码
在程序运行的时候也会有一个编码设置,这个编码就是系统编码,默认的系统编码是ascii编码,我们也可以通过sys这个软件包来设置它。
在我们使用print命令输出信息到控制台的时候,就会尝试使用系统编码进行显示了。而默认是ascii编码在很多情况下会出现无法解码的情况
查看系统编码
导入sys,查看系统编码
import sys
print sys.getdefaultencoding()
设置系统编码
导入sys,使用reload刷新sys,设置新的系统编码
import sys
reload(sys)
sys.setdefaultencoding("gbk")
编码转换
既然编码方式有那么多,我们从不通的媒介上提取到的数据就有可能是不同的编码方式的,如果要将这些数据统一成我们的代码使用的默认编码,就需要学会编码之间的转换方法。
直接编码转换
在python下可以通过字符串的decode和encode方法进行字符串的编码转换操作
通用的技巧就是先通过decode方法将字符串转成unicode编码,再通过encode方法将字符串转为指定的编码
示例
脚本默认是gbk编码,先转为utf-8编码,再转回gbk编码
orgStr = "我是福哥"
# print gbk
gbkStr = orgStr
print gbkStr
# gbk to utf-8
utf8Str = gbkStr.decode("gbk").encode("utf-8")
print utf8Str
# utf-8 to gbk
gbkStr = utf8Str.decode("utf-8").encode("gbk")
print gbkStr
数据库数据编码转换
从数据库里提取到的数据也是有编码的,我们一定知道数据库里的数据的编码方式,之后就可以通过直接编码转换的方式进行转换了
示例
从数据库里查询出一个字段的数据,通过直接转换方法进行编码转换
import pymysql
# connect
cn = pymysql.connect("192.168.1.168","test","abcdef")
cs = cn.cursor()
cn.select_db("test")
# query and fetch
cs.execute("select * from test")
result = cs.fetchone()
# utf8 to gbk
utf8Str = result[1]
gbkStr = utf8Str.decode("utf-8").encode("gbk")
print gbkStr
网页数据编码转换
使用selenium模拟浏览器获取网页上的内容数据也是有编码的,这种情况下怎么解决呢?
示例
使用selenium爬取到网页的内容,通过find命令获取到的元素上的文字,这个可以直接通过encode进行转换,因为selenium已经帮助我们把文字转换成unicode了
from selenium import webdriver
chromeOpts = webdriver.ChromeOptions()
chromeOpts.add_argument("--headless")
chromeOpts.add_argument("--disable-gpu")
chromeOpts.add_argument("--no-sandbox")
chrome = webdriver.Chrome(options=chromeOpts)
chrome.get("https://tongfu.net/")
unicodeStr = chrome.find_element_by_css_selector(".topic-title").text
gbkStr = unicodeStr.encode("gbk")
print (gbkStr)
IDLE编码、系统编码、数据编码
上面我们提到了几个概念,即:IDLE编码、系统编码、数据编码,它们之间是什么关系呢?
IDLE编码
这个又称之为编辑器编码,这个编码是告诉IDLE编辑器我们当前脚本里声明的字符串常量的编码是什么,如果没有特别指定的话,默认会是ascii编码,那样是无法使用中文的。
系统编码
有一些软件包为了使程序员开发方便,会自动进行一些数据的编码转换,在进行自动转换编码的时候所依据的就是系统编码了。
数据编码
数据编码是以变量为单位的,也就是说每一个变量都会有自己的编码方式,我们在编程的时候需要根据情况对它们进行统一,否则会出现意想不到的问题
字符串输出
如果要使字符串可以正常通过print命令输出到控制台上,需要保证IDLE编码和变量编码一致,或者变量编码为Unicode编码
常见错误
未指定IDLE编码
如果没有指定IDLE编码,在输出字符串的时候就会报错
SyntaxError: Non-ASCII character '\xb8' in file Encoding.py on line 3, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details
IDLE和数据编码不一致
如果指定的IDLE编码和变量编码不一样会出现乱码
总结
今天福哥带着大家学习了字符串编码的相关知识,后面再处理字符串的时候就会比较清晰怎么做了!否则,我们会稀里糊涂地得到关于编码的报错信息,诸如:
UnicodeEncodeError: 'ascii' codec can't encode character u'\u3010' in position 0: ordinal not in range(128)
或者
UnicodeEncodeError: 'gbk' codec can't encode character u'\xa9' in position 105046: illegal multibyte sequence
等等这样的错误信息了
https://m.tongfu.net/home/35/blog/512813.html
相关推荐
- Go语言泛型-泛型约束与实践(go1.7泛型)
-
来源:械说在Go语言中,Go泛型-泛型约束与实践部分主要探讨如何定义和使用泛型约束(Constraints),以及如何在实际开发中利用泛型进行更灵活的编程。以下是详细内容:一、什么是泛型约束?**泛型...
- golang总结(golang实战教程)
-
基础部分Go语言有哪些优势?1简单易学:语法简洁,减少了代码的冗余。高效并发:内置强大的goroutine和channel,使并发编程更加高效且易于管理。内存管理:拥有自动垃圾回收机制,减少内...
- Go 官宣:新版 Protobuf API(go pro版本)
-
原文作者:JoeTsai,DamienNeil和HerbieOng原文链接:https://blog.golang.org/a-new-go-api-for-protocol-buffer...
- Golang开发的一些注意事项(一)(golang入门项目)
-
1.channel关闭后读的问题当channel关闭之后再去读取它,虽然不会引发panic,但会直接得到零值,而且ok的值为false。packagemainimport"...
- golang 托盘菜单应用及打开系统默认浏览器
-
之前看到一个应用,用go语言编写,说是某某程序的windows图形化客户端,体验一下发现只是一个托盘,然后托盘菜单的控制面板功能直接打开本地浏览器访问程序启动的webserver网页完成gui相关功...
- golang标准库每日一库之 io/ioutil
-
一、核心函数概览函数作用描述替代方案(Go1.16+)ioutil.ReadFile(filename)一次性读取整个文件内容(返回[]byte)os.ReadFileioutil.WriteFi...
- 文件类型更改器——GoLang 中的 CLI 工具
-
我是如何为一项琐碎的工作任务创建一个简单的工具的,你也可以上周我开始玩GoLang,它是一种由Google制作的类C编译语言,非常轻量和快速,事实上它经常在Techempower的基准测...
- Go (Golang) 中的 Channels 简介(golang channel长度和容量)
-
这篇文章重点介绍Channels(通道)在Go中的工作方式,以及如何在代码中使用它们。在Go中,Channels是一种编程结构,它允许我们在代码的不同部分之间移动数据,通常来自不同的goro...
- Golang引入泛型:Go将Interface「」替换为“Any”
-
现在Go将拥有泛型:Go将Interface{}替换为“Any”,这是一个类型别名:typeany=interface{}这会引入了泛型作好准备,实际上,带有泛型的Go1.18Beta...
- 一文带你看懂Golang最新特性(golang2.0特性)
-
作者:腾讯PCG代码委员会经过十余年的迭代,Go语言逐渐成为云计算时代主流的编程语言。下到云计算基础设施,上到微服务,越来越多的流行产品使用Go语言编写。可见其影响力已经非常强大。一、Go语言发展历史...
- Go 每日一库之 java 转 go 遇到 Apollo?让 agollo 来平滑迁移
-
以下文章来源于GoOfficialBlog,作者GoOfficialBlogIntroductionagollo是Apollo的Golang客户端Apollo(阿波罗)是携程框架部门研...
- Golang使用grpc详解(golang gcc)
-
gRPC是Google开源的一种高性能、跨语言的远程过程调用(RPC)框架,它使用ProtocolBuffers作为序列化工具,支持多种编程语言,如C++,Java,Python,Go等。gR...
- Etcd服务注册与发现封装实现--golang
-
服务注册register.gopackageregisterimport("fmt""time"etcd3"github.com/cor...
- Golang:将日志以Json格式输出到Kafka
-
在上一篇文章中我实现了一个支持Debug、Info、Error等多个级别的日志库,并将日志写到了磁盘文件中,代码比较简单,适合练手。有兴趣的可以通过这个链接前往:https://github.com/...
- 如何从 PHP 过渡到 Golang?(php转golang)
-
我是PHP开发者,转Go两个月了吧,记录一下使用Golang怎么一步步开发新项目。本着有坑填坑,有错改错的宗旨,从零开始,开始学习。因为我司没有专门的Golang大牛,所以我也只能一步步自己去...
- 一周热门
- 最近发表
- 标签列表
-
- mybatiscollection (79)
- mqtt服务器 (88)
- keyerror (78)
- c#map (65)
- xftp6 (83)
- bt搜索 (75)
- c#var (76)
- xcode-select (66)
- mysql授权 (74)
- 下载测试 (70)
- linuxlink (65)
- pythonwget (67)
- androidinclude (65)
- libcrypto.so (74)
- linux安装minio (74)
- ubuntuunzip (67)
- vscode使用技巧 (83)
- secure-file-priv (67)
- vue阻止冒泡 (67)
- jquery跨域 (68)
- php写入文件 (73)
- kafkatools (66)
- mysql导出数据库 (66)
- jquery鼠标移入移出 (71)
- 取小数点后两位的函数 (73)