别再为读取 CSV 文件发愁!pandas 实用技巧全解析
bigegpt 2025-03-18 20:00 12 浏览
在数据处理与分析领域,Python 的 pandas 库是极为强大的工具,而读取 CSV 文件是其常见且基础的操作。熟练掌握 pandas 读取 CSV 文件的技巧,能极大提升数据处理的效率与准确性。下面为你详细总结相关知识点。
一、安装与导入
若尚未安装 pandas 库,可通过命令pip install pandas进行安装。安装完成后,在 Python 代码中导入 pandas 库,一般采用import pandas as pd的方式,后续就可以通过pd来调用 pandas 的函数。
二、基本读取操作
使用pd.read_csv()函数读取 CSV 文件,例如df = pd.read_csv('data.csv'),这行代码会将名为data.csv的文件读取到一个 pandas 的 DataFrame 对象df中,DataFrame 是 pandas 用于存储和处理表格型数据的主要数据结构。
以下面的表格信息为例(表格数据比较多,只显示部分数据)
示例代码:
import pandas as pd
data = pd.read_csv('data.csv') # 这里使用一个公开的示例数据集,也可以更换成本地的数据表
print(data.head())
运行结果(因数据量较大,仅展示前几行):
id 产品名称 一月销售额(元) 二月销售额(元) ... 四月销售额(元) 五月销售额(元) 六月销售额(元) 总计销售额(元)
0 1 纯棉 T 恤 5000 6000 ... 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 ... 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
3 4 运动背包 6000 6500 ... 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300
三、常见参数详解
- sep参数:用于指定 CSV 文件中的字段分隔符,默认是逗号','。如果文件使用其他分隔符,如制表符'\t',则需要指定sep参数,如pd.read_csv('data.tsv', sep='\t') 。
示例代码:
import pandas as pd
# 假设我们有一个制表符分隔的文件(这里使用公开数据集示例转化为制表符分隔示意)
data = pd.read_csv('data.csv', sep=',')
data.to_csv('tips.tsv', sep='\t', index=False)
new_data = pd.read_csv('tips.tsv', sep='\t')
print(new_data.head())
运行结果(因数据量较大,仅展示前几行):
id 产品名称 一月销售额(元) 二月销售额(元) ... 四月销售额(元) 五月销售额(元) 六月销售额(元) 总计销售额(元)
0 1 纯棉 T 恤 5000 6000 ... 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 ... 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
3 4 运动背包 6000 6500 ... 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300
- header参数:用于指定哪一行作为列名,默认值为0,即第一行作为列名。若文件没有列名,可设置header=None,并通过names参数手动指定列名,如pd.read_csv('data.csv', header=None, names=['col1', 'col2', 'col3']) 。
示例代码:
import pandas as pd
# 去掉列名
data = pd.read_csv('data.csv', header=None) # 这里的data.csv需要删掉标题行,即列名那行
new_data = pd.read_csv('data.csv', header=None, names=['id','七月', '八月','九月','十月', '十一月', '十二月','总销售额'])
print(new_data.head())
运行结果(因数据量较大,仅展示前几行):
id 产品名称 七月 八月 九月 十月 十一月 十二月 总销售额
0 1 纯棉 T 恤 5000 6000 5500 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 5000 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 4200 4000 4500 4800 24800
3 4 运动背包 6000 6500 7000 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 3200 3500 3800 4000 20300
- index_col参数:可以指定某一列作为 DataFrame 的索引列。例如pd.read_csv('data.csv', index_col='id'),会将名为id的列设置为索引。
示例代码:
import pandas as pd
data = pd.read_csv('data.csv', index_col='id')
print(data.head())
运行结果(因数据量较大,仅展示前几行):
产品名称 一月销售额(元) 二月销售额(元) ... 五月销售额(元) 六月销售额(元) 总计销售额(元)
id ...
1 纯棉 T 恤 5000 6000 ... 6500 8000 38000
2 无线蓝牙耳机 4000 4500 ... 5200 5500 29000
3 智能保温杯 3500 3800 ... 4500 4800 24800
4 运动背包 6000 6500 ... 8000 8500 43500
5 护眼台灯 2800 3000 ... 3800 4000 20300
- usecols参数:用于选择需要读取的列,可传入列名列表。如pd.read_csv('data.csv', usecols=['col1', 'col3']),只会读取col1和col3两列的数据。
示例代码:
import pandas as pd
data = pd.read_csv('data.csv', usecols=['total_bill', 'tip'])
print(data.head())
运行结果(因数据量较大,仅展示前几行):
id 产品名称 一月销售额(元)
0 1 纯棉 T 恤 5000
1 2 无线蓝牙耳机 4000
2 3 智能保温杯 3500
3 4 运动背包 6000
4 5 护眼台灯 2800
- skiprows参数:可以跳过指定数量的行。若文件开头有一些说明性行不需要读取,可使用pd.read_csv('data.csv', skiprows=3)跳过前 3 行。还有一种情况是要保留原标题行,跳过下面的2行,可以使用pd.read_csv('data.csv', skiprows=[1,2]),这样就可以保留标题行(索引为0),跳过第2,3行(索引为1,2)。
示例代码1:
import pandas as pd
# 假设前3行是说明行
data = pd.read_csv('data.csv', skiprows=3, header=None)
print(data.head())
运行结果(因数据量较大,仅展示前几行):
0 1 2 3 4 5 6 7 8
0 3 智能保温杯 3500 3800 4200 4000 4500 4800 24800
1 4 运动背包 6000 6500 7000 7500 8000 8500 43500
2 5 护眼台灯 2800 3000 3200 3500 3800 4000 20300
3 6 家用扫地机器人 4500 4800 5200 5000 5500 5800 30800
4 7 电动牙刷 3200 3400 3600 3800 4000 4200 22200
示例代码2:
import pandas as pd
# 假设前3行是说明行
data = pd.read_csv('data.csv', skiprows=[1, 2])
print(data.head())
运行结果(因数据量较大,仅展示前几行):
id 产品名称 一月销售额(元) 二月销售额(元) ... 四月销售额(元) 五月销售额(元) 六月销售额(元) 总计销售额(元)
0 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
1 4 运动背包 6000 6500 ... 7500 8000 8500 43500
2 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300
3 6 家用扫地机器人 4500 4800 ... 5000 5500 5800 30800
4 7 电动牙刷 3200 3400 ... 3800 4000 4200 22200
- na_values参数:在读取 CSV 文件时,可通过na_values参数指定自定义的缺失值表示。例如pd.read_csv('data.csv', na_values=['-', 'unknown']),文件中出现-和unknown的地方都会被识别为缺失值。
示例代码:
import pandas as pd
# 假设数据中用'-'表示缺失值
data = pd.read_csv('data.csv')
new_data = pd.read_csv('data.csv', na_values='纯棉 T 恤')
print(new_data.head())
运行结果(因数据量较大,仅展示前几行):
id 产品名称 一月销售额(元) 二月销售额(元) ... 四月销售额(元) 五月销售额(元) 六月销售额(元) 总计销售额(元)
0 1 NaN 5000 6000 ... 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 ... 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
3 4 运动背包 6000 6500 ... 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300
- dtype参数:默认情况下,pandas 会自动推断每列的数据类型,但有时推断不准确。此时可使用dtype参数手动指定列的数据类型,如pd.read_csv('data.csv', dtype={'col1': 'int64', 'col2': 'float64'}) 。
示例代码:
import pandas as pd
data = pd.read_csv('data.csv', dtype={'id': 'int32'})
print(data.dtypes)
运行结果:
id int32
产品名称 object
一月销售额(元) int64
二月销售额(元) int64
三月销售额(元) int64
四月销售额(元) int64
五月销售额(元) int64
六月销售额(元) int64
总计销售额(元) int64
dtype: object
四、处理大型文件
对于大型 CSV 文件,一次性读取可能导致内存不足,此时可使用分块读取的方式。通过chunksize参数指定每个数据块的大小,例如:
import pandas as pd
for chunk in pd.read_csv('data.csv', chunksize=50):
print(chunk.shape)
运行结果(展示每个数据块的形状):
(50, 9)
(31, 9)
五、处理编码问题
如果读取的 CSV 文件存在编码问题,可通过encoding参数指定编码格式。例如,若文件是 UTF - 8 编码,可使用pd.read_csv('data.csv', encoding='utf-8') 。常见的编码格式还有'gbk'、'latin1'等,需根据文件实际编码情况选择。
示例代码:
import pandas as pd
# 假设文件是utf-8编码(这里使用的公开示例数据一般是utf-8编码)
data = pd.read_csv('data.csv', encoding='utf-8')
print(data.head())
运行结果(因数据量较大,仅展示前几行):
id 产品名称 一月销售额(元) 二月销售额(元) ... 四月销售额(元) 五月销售额(元) 六月销售额(元) 总计销售额(元)
0 1 纯棉 T 恤 5000 6000 ... 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 ... 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
3 4 运动背包 6000 6500 ... 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300
掌握 pandas 读取 CSV 文件的这些知识点,无论是小型数据集的快速处理,还是大型复杂数据集的高效读取,都能应对自如,为后续的数据清洗、分析和可视化等工作打下坚实基础。
相关推荐
- 【机器学习】数据挖掘神器LightGBM详解(附代码)
-
来源:机器学习初学者本文约11000字,建议阅读20分钟本文为你介绍数据挖掘神器LightGBM。LightGBM是微软开发的boosting集成模型,和XGBoost一样是对GBDT...
- 3分钟,用DeepSeek全自动生成语音计算器,还带括号表达式!
-
最近,大家慢慢了解到了DeepSeek的强大功能,特别是它在编程领域也同样强大。编程零基础小白,一行代码不用写,也能全自动生成一个完整的、可运行的软件来!很多程序员一直不相信小白不写代码也能编软件!下...
- python学习笔记 3.表达式
-
在Python中,表达式是由值、变量和运算符组成的组合。以下是一些常见的Python表达式:算术表达式:由数值和算术运算符组成的表达式,如加减乘除等。例如:5+3、7*2、10/3等。字符...
- 5.7 VS 8.x,为什么用户不升级MySql
-
一般来说为了更好的功能和性能,都需要将软件升级到最新的版本,然而在开源软件中,由于一些开发商变化或其他的问题(开源授权变化),致使人们不愿使用最新的版本,一个最典型的问题就是CentOS操作系统。还有...
- 大厂高频:讲一下MySQL主从复制
-
大家经常听说主从复制,那么主从复制的意义?能解决的问题有哪些?主从复制能解决的问题就是在我们平时开发的程序中操作数据库的时候,大多数的情况查询的操作大大超过了写的操作,也就说对数据库读取数据的压力比较...
- MYSQL数据库的五大安全防护措施
-
以技术为基础的企业里最有价值的资产莫过于是客户或者其数据库中的产品信息了。因此,在这样的企业中,保证数据库免受外界攻击是数据库管理的重要环节。很多数据库管理员并没有实施什么数据库保护措施,只是因为觉得...
- docker安装mysql
-
准备工作已安装Docker环境(官方安装文档)终端/命令行工具(Linux/macOS/WSL)步骤1:拉取MySQL镜像打开终端执行以下命令,拉取官方MySQL镜像(默认最新版本):d...
- Zabbix监控系统系列之六:监控 mysql
-
zabbix监控mysql1、监控规划在创建监控项之前要尽量考虑清楚要监控什么,怎么监控,监控数据如何存储,监控数据如何展现,如何处理报警等。要进行监控的系统规划需要对Zabbix很了解,这里只是...
- 详解MySQL的配置文件及优化
-
#头条创作挑战赛#在Windows系统中,MySQL服务器启动时最先读取的是my.ini这个配置文件。在Linux系统中,配置文件为my.cnf,其路径一般为/etc/my.cnf或/etc/mysq...
- Mysql 几个批处理执行脚本
-
学习mysql过程中,需要创建测试数据,并让多人每人一个数据库连接并进行作业检查。整合部分批处理创建数据批量创建数据库DELIMITER$CREATEPROCEDURECreateDatab...
- MySQL学到什么程度?才有可以在简历上写精通
-
前言如今互联网行业用的最多就是MySQL,然而对于高级Web面试者,尤其对于寻找30k下工作的求职者,很多MySQL相关知识点基本都会涉及,如果面试中,你的相关知识答的模糊和不切要点,基...
- mysql 主、从服务器配置“Slave_IO_Running: Connecting” 问题分析
-
#在进行mysql主、从服务器配置时,”SHOWSLAVESTATUS;“查看从库状态Slave_IO_Runing,出现错误:“Slave_IO_Running:Connectin...
- MYSQL数据同步
-
java开发工程师在实际的开发经常会需要实现两台不同机器上的MySQL数据库的数据同步,要解决这个问题不难,无非就是mysql数据库的数据同步问题。但要看你是一次性的数据同步需求,还是定时数据同步,亦...
- 「MySQL 8」MySQL 5.7都即将停只维护了,是时候学习一波MySQL 8了
-
MySQL8新特性选择MySQL8的背景:MySQL5.6已经停止版本更新了,对于MySQL5.7版本,其将于2023年10月31日停止支持。后续官方将不再进行后续的代码维护。另外,...
- Prometheus监控mysql
-
通过Prometheus监控Mysql,我们需要在Mysql端安装一个mysql-exporter,然后Prometheus通过mysql-exporter暴露的端口抓取数据。1.安装一个MYSQL配...
- 一周热门
- 最近发表
- 标签列表
-
- mybatiscollection (79)
- mqtt服务器 (88)
- keyerror (78)
- c#map (65)
- resize函数 (64)
- xftp6 (83)
- bt搜索 (75)
- c#var (76)
- mybatis大于等于 (64)
- xcode-select (66)
- mysql授权 (74)
- httperror403.14-forbidden (63)
- logstashinput (65)
- hadoop端口 (65)
- dockernetworkconnect (63)
- esxi7 (63)
- vue阻止冒泡 (67)
- c#for循环 (63)
- oracle时间戳转换日期 (64)
- jquery跨域 (68)
- php写入文件 (73)
- kafkatools (66)
- mysql导出数据库 (66)
- jquery鼠标移入移出 (71)
- 取小数点后两位的函数 (73)