python编程实践:格式化数据文本文件读写的技巧
bigegpt 2024-12-28 11:24 5 浏览
昨天,公司一个帅哥,端着笔记本来找我。请教格式化数据文本文件的读写方法。今天我花了点时间整理出来,给各位粉丝共享。也许粉丝还有更好的方法,可以在评论区里讨论。
大家平时都见到的文本文件,都是excel、csv、json、xml等文件,这些都有相应的函数和方法来读写。但是有一种特殊的数据文件后缀是.dat文件,是保存数据的文件,究其本质,仍然是文本格式的文件,是格式化的文本文件。下面我们分读写阐述这两个方面的问题。
格式化文本文件的读取(数据文件的读取)
数据文件的读取步骤:首先将文件内容读入内存,在明白数据文件的格式基础上,再格式化读取。
这个帅哥的数据文件打开是这样的格式,如下图。看这数据,明显是气象上探空资料数据。气象上的数据处理多用Fortran程序编写,格式化输出写文件是常见的办法,前面几个要素都是挨着一起了,这样写的目的,是为了节省磁盘空间。
观测其数据,每行的数据格式如下:区站号(5)、经度(6)、纬度(6)、拔海高度(6)、站点级别(2)、高度(7)、温度(7)、温度露点差(7)、风向(7)、风速(7),括号内是要素占的位置数。
我给出了建议,先将所有行都读入,然后对每行数据进行切分,就可以得到所有的数据了。他明白了思路,很快地给出了他的代码:
file = open('./2086040108.dat', 'r') # 以只读模式打开文件
lines = file.readlines() # 获取所有行并保存到lines列表中
file.close()
station=[]
lon=[]
lat=[]
elevation=[]
category=[]
high=[]
temp=[]
diff=[]
dd=[]
ff=[]
for i in range(len(lines)):
tt = lines[i]
station.append(tt[0:5].strip())
lon.append(tt[5:11].strip())
lat.append(tt[11:17].strip())
elevation.append(tt[17:23].strip())
category.append(tt[23:25].strip())
high.append(tt[25:32].strip())
temp.append(tt[32:39].strip())
diff.append(tt[39:46].strip())
dd.append(tt[46:53].strip())
ff.append(tt[53:60].strip())
file.close()
这样,先将所有行都读入,并保存到lines列表中 然后对每行数据进行切分,按照数据格式,对区站号、经度、纬度、拔海高度、站点级别、高度、温度温度露点差、风向、风速的数据进行切分,对应的到station、lon、lat、elevation、category、high、temp、diff、dd、ff等10个数据变量,使用strip()去掉字符串前后多余的空格。
帅哥觉得自己写的代码过于繁琐,请教我是否还有更好的办法。
为了读此类格式文件的通用性,我专门写了一个子程序,来完成。代码如下:
#line:一行的数据,format:格式化,每数据的宽度,中间用逗号隔开,data:所分解的数据。
def read_line_data( line, format, data):
format_num = format.split(',')
start = 0
for i in range(len(format_num)):
end = start + int(format_num[i])
value = line[start:end].strip()
data.append(value)
start = end
read_line_data函数,参数line:一行的数据,format:格式化,每数据的宽度,中间用逗号隔开,data:所分解的数据。
file = open('./2086040108.dat', 'r') # 以只读模式打开文件
lines = file.readlines() # 获取所有行并保存到lines列表中
file.close()
gk_data = []
for i in range(len(lines)):
tt = lines[i]
data = []
read_line_data(tt, '5,6,6,6,2,7,7,7,7,7', data)
gk_data.append(data)
file.close()
print(gk_data)
这样gk_data 就含有所有的数据了。
格式化文本文件的写入
明白了读格式化数据文件的方法,那么写格式化数据文件那如何办到?我给出建议,首先将每行要写的内容格式化字符串后,再每行写入,不就完成了?是呀!帅哥不愧有几下子,给出了他的代码:
gk_data =[['50527', '119.75', '49.22', '610.2', '1', '537', '-29', '8.0', '320', '21'],
['50557', '125.23', '49.17', '242.2', '1', '530', '-34', '14.0', '330', '18'],
['50745', '123.92', '47.38', '145.9', '1', '534', '-29', '12.0', '330', '22'],
['50774', '128.90', '47.72', '252.0', '1', '530', '-38', '1.5', '265', '8'],
['50834', '121.22', '46.60', '499.7', '1', '536', '-30', '8.0', '330', '27']]
# 区站号(5)、经度(6)、纬度(6)、拔海高度(6)、站点级别(2)、高度(7)、温度(7)、
# 温度露点差(7)、风向(7)、风速(7)
file = open('./gkdata.dat', 'w') # 以只读模式打开文件
for i in range(len(gk_data)):
line = '{0:>5}{1:>6}{2:>6}{3:>6}{4:>2}{5:>7}{6:>7}{7:>7}{8:>7}{9:>7}'.format(
gk_data[i][0],gk_data[i][1],gk_data[i][2],gk_data[i][3],gk_data[i][4],
gk_data[i][5],gk_data[i][6],gk_data[i][7],gk_data[i][8],gk_data[i][9])
file.write(line+'\n')
file.close()
小伙子,不愧是高材生,很不错,一点就透。
如果gk_data,既然是气象的高空数据,那必然都是数值,要么整数,要么浮点。把gk_data的数据里的引号去掉,你在试试看,我给他又出了题目。帅哥说这简单:
gk_data =[[50527, 119.75, 49.22, 610.2, 1, 537, -29, 8.0, 320, 21],
[50557, 125.23, 49.17, 242.2, 1, 530, -34, 14.0, 330, 18],
[50745, 123.92, 47.38, 145.9, 1, 534, -29, 12.0, 330, 22],
[50774, 128.90, 47.72, 252.0, 1, 530, -38, 1.5, 265, 8],
[50834, 121.22, 46.60, 499.7, 1, 536, -30, 8.0, 330, 27]]
# 区站号(5)、经度(6)、纬度(6)、拔海高度(6)、站点级别(2)、高度(7)、温度(7)、
# 温度露点差(7)、风向(7)、风速(7)
file = open('./gkdata.dat', 'w') # 以只读模式打开文件
for i in range(len(gk_data)):
line = '{0:>5d}{1:>6.2f}{2:>6.2f}{3:>6.1f}{4:>2d}{5:>7d}{6:>7.0f}{7:>7.1f}{8:>7d}{9:>7.0f}'.format(
gk_data[i][0],gk_data[i][1],gk_data[i][2],gk_data[i][3],gk_data[i][4],
gk_data[i][5],gk_data[i][6],gk_data[i][7],gk_data[i][8],gk_data[i][9])
file.write(line+'\n')
file.close()
至此,他的疑问找到了答案,微笑着满意地走了。虽然解惑的过程中我也很辛苦,不管怎么样,我总是有写头条的素材,整理出来供粉丝们参考。也许粉丝还有更好的方法,可以在评论区里讨论。
相关推荐
- 了解Linux目录,那你就了解了一半的Linux系统
-
大到公司或者社群再小到个人要利用Linux来开发产品的人实在是多如牛毛,每个人都用自己的标准来配置文件或者设置目录,那么未来的Linux则就是一团乱麻,也对管理造成许多麻烦。后来,就有所谓的FHS(F...
- Linux命令,这些操作要注意!(linux命令?)
-
刚玩Linux的人总觉得自己在演黑客电影,直到手滑输错命令把公司服务器删库,这才发现命令行根本不是随便乱用的,而是“生死簿”。今天直接上干货,告诉你哪些命令用好了封神!喜欢的一键三连,谢谢观众老爷!!...
- Linux 命令速查手册:这 30 个高频指令,拯救 90% 的运维小白!
-
在Linux系统的世界里,命令行是强大的武器。对于运维小白而言,掌握一些高频使用的Linux命令,能极大提升工作效率,轻松应对各种系统管理任务。今天,就为大家奉上精心整理的30个Linu...
- linux必学的60个命令(linux必学的20个命令)
-
以下是Linux必学的20个基础命令:1.cd:切换目录2.ls:列出文件和目录3.mkdir:创建目录4.rm:删除文件或目录5.cp:复制文件或目录6.mv:移动/重命名文件或目录7....
- 提高工作效率的--Linux常用命令,能够决解95%以上的问题
-
点击上方关注,第一时间接受干货转发,点赞,收藏,不如一次关注评论区第一条注意查看回复:Linux命令获取linux常用命令大全pdf+Linux命令行大全pdf为什么要学习Linux命令?1、因为Li...
- 15 个实用 Linux 命令(linux命令用法及举例)
-
Linux命令行是系统管理员、开发者和技术爱好者的强大工具。掌握实用命令不仅能提高效率,还能解锁Linux系统的无限潜力,本文将深入介绍15个实用Linux命令。ls-列出目录内容l...
- Linux 常用命令集合(linux常用命令全集)
-
系统信息arch显示机器的处理器架构(1)uname-m显示机器的处理器架构(2)uname-r显示正在使用的内核版本dmidecode-q显示硬件系统部件-(SMBIOS/DM...
- Linux的常用命令就是记不住,怎么办?
-
1.帮助命令1.1help命令#语法格式:命令--help#作用:查看某个命令的帮助信息#示例:#ls--help查看ls命令的帮助信息#netst...
- Linux常用文件操作命令(linux常用文件操作命令有哪些)
-
ls命令在Linux维护工作中,经常使用ls这个命令,这是最基本的命令,来写几条常用的ls命令。先来查看一下使用的ls版本#ls--versionls(GNUcoreutils)8.4...
- Linux 常用命令(linux常用命令)
-
日志排查类操作命令查看日志cat/var/log/messages、tail-fxxx.log搜索关键词grep"error"xxx.log多条件过滤`grep-E...
- 简单粗暴收藏版:Linux常用命令大汇总
-
号主:老杨丨11年资深网络工程师,更多网工提升干货,请关注公众号:网络工程师俱乐部下午好,我的网工朋友在Linux系统中,命令行界面(CLI)是管理员和开发人员最常用的工具之一。通过命令行,用户可...
- 「Linux」linux常用基本命令(linux常用基本命令和用法)
-
Linux中许多常用命令是必须掌握的,这里将我学linux入门时学的一些常用的基本命令分享给大家一下,希望可以帮助你们。总结送免费学习资料(包含视频、技术学习路线图谱、文档等)1、显示日期的指令:d...
- Linux的常用命令就是记不住,怎么办?于是推出了这套教程
-
1.帮助命令1.1help命令#语法格式:命令--help#作用:查看某个命令的帮助信息#示例:#ls--help查看ls命令的帮助信息#netst...
- Linux的30个常用命令汇总,运维大神必掌握技能!
-
以下是Linux系统中最常用的30个命令,精简版覆盖日常操作核心需求,适合快速掌握:一、文件/目录操作1.`ls`-列出目录内容`ls-l`(详细信息)|`ls-a`(显示隐藏文件)...
- Linux/Unix 系统中非常常用的命令
-
Linux/Unix系统中非常常用的命令,它们是进行文件操作、文本处理、权限管理等任务的基础。下面是对这些命令的简要说明:**文件操作类:*****`ls`(list):**列出目录内容,显...
- 一周热门
- 最近发表
- 标签列表
-
- mybatiscollection (79)
- mqtt服务器 (88)
- keyerror (78)
- c#map (65)
- resize函数 (64)
- xftp6 (83)
- bt搜索 (75)
- c#var (76)
- mybatis大于等于 (64)
- xcode-select (66)
- mysql授权 (74)
- 下载测试 (70)
- linuxlink (65)
- pythonwget (67)
- androidinclude (65)
- logstashinput (65)
- hadoop端口 (65)
- vue阻止冒泡 (67)
- oracle时间戳转换日期 (64)
- jquery跨域 (68)
- php写入文件 (73)
- kafkatools (66)
- mysql导出数据库 (66)
- jquery鼠标移入移出 (71)
- 取小数点后两位的函数 (73)