百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

shutil库:Python高级文件操作

bigegpt 2024-08-31 16:38 4 浏览

前言

什么算是高层的文件操作呢?

普通的文件操作,我们一般只涉及创建文件,文件夹以及写入文件等等。假如我现在需要复制一个文件的内容到另一个文件之中,用pathlib等都只能先打开复制文件,然后进行将其读出来保存,然后再写入新的文件,这种普通的复制操作,无形之中增加了许多步骤。

而shutil库可以直接完成复制符间的操作,同时还支持归档。本篇,将详细介绍文件的高层次操作。

copyfile()

copyfile()函数用于将一个文件的内容复制到另一个文件之中,准确的来说,它不是copy内容,而是直接copy文件,并重命名。

示例如下:

import shutil

shutil.copyfile('week.csv', 'week_copy.csv')

很简单,就一行代码,第1个参数是需要copy的源文件,第2个参数是需要复制的新文件。运行之后,效果如下:

copy()与copy2()

不过,copyfile()函数用于复制文件有一个缺陷,该函数的原理是通过打开源文件进行读取。所以,如果是某些特殊的文件,比如是UNIX设备节点,没有权限会报IOERROR错误。

还需要注意的是,通过copyfile()函数复制的文件是一个新文件,它不包括旧文件的访问时间与修改时间。

而copy2()函数可以复制文件后保留访问时间,修改时间。示例如下:

import shutil
import os
import time

shutil.copy2('week.csv', 'week_copy.csv')
stat_info1 = os.stat('week.csv')
stat_info2 = os.stat('week_copy.csv')
print("源文件信息")
print(oct(stat_info1.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info1.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info1.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info1.st_mtime)))
print("复制文件信息")
print(oct(stat_info2.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info2.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info2.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info2.st_mtime)))

运行之后,效果如下:

而copy()与copyfile()一样都是复制文件的函数,不过copy()你给它一个文件夹名或者文件都可以复制,如果给文件夹名称,它会复制到文件夹下的目录中,当然复制的文件同名。而copyfile()如果给的是一个文件夹名称会报错。

示例如下:

import shutil
import os

os.mkdir('data')
shutil.copy('week.csv', 'data')

运行之后,效果如下:

copymode()与copystat()

通过copy2()函数,我们知道了如何复制文件内容和文件信息等操作。但是其复制并不包含文件的权限,比如我们的Win10系统C盘中,有些文件只能读不能写,那么如果将权限也复制过去呢?

答案是:copymode()函数,示例如下:

import shutil
import os, stat

with open("temp.txt", 'wt') as file:
    file.write("11111111111111111")
os.chmod("temp.txt", stat.S_IREAD)
shutil.copymode('temp_copymode.txt', 'temp.txt')
print(oct(os.stat('temp.txt').st_mode))
print(oct(os.stat('temp_copymode.txt').st_mode))

需要注意的是,copymode()复制的只是文件权限,不是文件,也就是被赋予权限的文件名必须存在后才能将某个文件的权限复制给它。比如这里temp_copymode.txt获取temp.txt权限,那么temp_copymode.txt必须存在后才能操作。而且这只是复制权限,并没有复制内容。(stat.S_IXGRP组用户组执行权限)

至于copystat()函数,不仅复制权限,而且也复制了文件的信息。具体代码如下:

import shutil
import os, stat
import time

with open("temp.txt", 'wt') as file:
    file.write("11111111111111111")
os.chmod("temp.txt", stat.S_IXGRP)
shutil.copystat('temp_copymode.txt', 'temp.txt')
stat_info1 = os.stat('temp.txt')
stat_info2 = os.stat('temp_copymode.txt')
print("源文件信息")
print(oct(stat_info1.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info1.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info1.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info1.st_mtime)))
print("复制文件信息")
print(oct(stat_info2.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info2.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info2.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info2.st_mtime)))

运行之后,效果如下:

复制整个文件夹

上面的所有复制都是针对单个文件的操作,但其实我们还会在实际的项目中,将整个文件夹复制到另一个位置。而且复制整个文件夹肯定会用到递归,不过shutil库有一个更简单的函数用于实现该操作:copytree()。

示例如下:

import shutil

shutil.copytree('./text', './text_copy')

这里一行代码就可以完成整个文件夹的实现。需要注意的是,第2个参数为需要复制到的目录,但该文件夹不能存在,copytree()函数会自动创建的,如果存在会报错。

参数copy_function

有时候,我们复制文件夹并不是需要将整个文件夹都复制过来,而是只需要指定的符合规则的文件,比如我们只需要某个文件夹下的所有后缀为py的文件,那么怎么筛选呢?

示例如下:

import shutil

def verbose_copy(src, dst):
    if src.endswith(".py"):
        return shutil.copy2(src, dst)

shutil.copytree('./text', './text_copy', copy_function=verbose_copy)

这里,我们通过copytree()函数的参数copy_function进行参数,该参数提供一个函数用于筛选符合规则的文件进行复制,比如这里,我们提供了一个函数,并判断后缀是否是.py然后再创建,当然,它会保存目录结构,但只复制.py后缀的文件。

参数ignore

copytree()不仅只有copy_function参数,还有一个ignore参数,它可以过滤掉某些文件,比如还是如上面一样,但是我们不需要.py后缀的文件,其他文件都复制,那么可以这样实现。

import shutil

shutil.copytree('./text', './text_copy', ignore=shutil.ignore_patterns('*.py'))

这样,就不会复制*.py规则的文件。

删除整个文件夹

既然有复制整个文件夹,那么肯定shutil库也会提供反向的操作用于删除整个文件夹。删除整个文件夹的函数为:rmtree()。

import shutil

shutil.rmtree('./text_copy')

这样,我们就删除了上面复制的文件夹内容。

移动文件夹或文件

除了复制文件与文件夹之外,我们在实际的项目中,还会移动整个某个文件或某个目录到另一个位置,shutil库提供了move()函数用于移动文件或文件夹。

示例如下:

import shutil

shutil.move('week.csv', './text')

这里,我们将csv文件移动到了刚才用于复制的text源文件目录。(移动文件夹一样操作,只是将文件名改为文件夹名)

查找文件

在更多的文件操作中,我们往往还需要查找某个文件。而shutil库提供了which()函数用于搜索查找目标文件。它有3个参数:mode可以设置查找文件的权限,path为需要查找的路径,cmd为要查找的文件。

示例如下:

import shutil

filename = shutil.which('python')
print(filename)

运行之后,效果如下:

归档

shutil库提供了更多高层函数来创建和解压归档文件。我们先来看看shutil库支持哪些格式,示例如下:

import shutil

for format,desc in shutil.get_archive_formats():
    print('{:<5}:{}'.format(format,desc))

运行之后,效果如下:

简单的理解就是支持的压缩格式。

压缩文件

我们先来看一个简单的例子,将某个文件夹进行压缩,代码如下:

import shutil

shutil.make_archive('text','gztar',root_dir='..',base_dir='base_demo')

这里我们将text文件夹,压缩格式为gztar。运行之后,效果如下:

其中,root_dir指定要压缩的路径根目录(默认当前目录),只能指定路径,优先级低于base_dir。base_dir指定要压缩文件的路径,可以指定路径下的文件名,也可以指定路径。

解压缩

既然有压缩,肯定也就有解压缩。shutil库提供了unpack_archive()进行解压缩文件。示例如下:

import shutil

shutil.unpack_archive('text.tar.gz',extract_dir='text_un')

unpack_archive()函数的第1个参数为需要解压的文件,第2个参数为需要解压到哪里。

文件系统空间

完成一个长时间运行的可能耗尽可用空间的操作之前,最好先检查本地文件系统,来看看有多少可用的空间。shutil库提供了disk_usage()函数来返回包括总空间,当前正在使用的空间以及未使用的空间。

示例如下:

import shutil

(total, used, free) = shutil.disk_usage("E:/")
BytesPerGB = 1024 * 1024 * 1024
print ("Total: %.2fGB" % (float(total)/BytesPerGB))
print ("Used: %.2fGB" % (float(used)/BytesPerGB))
print ("Free: %.2fGB" % (float(free)/BytesPerGB))

运行之后,效果如下:

这里博主是获取电脑E盘的信息,比如这里获取到E盘总大小total为238G,已使用Used为43G,未使用Free:194G。一个健壮的程序必然很严谨,所以在操作文件时,特别是比较大的文件时,一定要判断磁盘的大小之后再操作。

相关推荐

Java 泛型大揭秘:类型参数、通配符与最佳实践

引言在编程世界中,代码的可重用性和可维护性是至关重要的。为了实现这些目标,Java5引入了一种名为泛型(Generics)的强大功能。本文将详细介绍Java泛型的概念、优势和局限性,以及如何在...

K8s 的标签与选择器:流畅运维的秘诀

在Kubernetes的世界里,**标签(Label)和选择器(Selector)**并不是最炫酷的技术,但却是贯穿整个集群管理与运维流程的核心机制。正是它们让复杂的资源调度、查询、自动化运维变得...

哈希Hash算法:原理、应用(哈希算法 知乎)

原作者:Linux教程,原文地址:「链接」什么是哈希算法?哈希算法(HashAlgorithm),又称为散列算法或杂凑算法,是一种将任意长度的数据输入转换为固定长度输出值的数学函数。其输出结果通常被...

C#学习:基于LLM的简历评估程序(c# 简历)

前言在pocketflow的例子中看到了一个基于LLM的简历评估程序的例子,感觉还挺好玩的,为了练习一下C#,我最近使用C#重写了一个。准备不同的简历:image-20250528183949844查...

55顺位,砍41+14+3!季后赛也成得分王,难道他也是一名球星?

雷霆队最不可思议的新星:一个55号秀的疯狂逆袭!你是不是也觉得NBA最底层的55号秀,就只能当饮水机管理员?今年的55号秀阿龙·威金斯恐怕要打破你的认知了!常规赛阶段,这位二轮秀就像开了窍的天才,直接...

5分钟读懂C#字典对象(c# 字典获取值)

什么是字典对象在C#中,使用Dictionary类来管理由键值对组成的集合,这类集合被称为字典。字典最大的特点就是能够根据键来快速查找集合中的值,其键的定义不能重复,具有唯一性,相当于数组索引值,字典...

c#窗体传值(c# 跨窗体传递数据)

在WinForm编程中我们经常需要进行俩个窗体间的传值。下面我给出了两种方法,来实现传值一、在输入数据的界面中定义一个属性,供接受数据的窗体使用1、子窗体usingSystem;usingSyst...

C#入门篇章—委托(c#委托的理解)

C#委托1.委托的定义和使用委托的作用:如果要把方法作为函数来进行传递的话,就要用到委托。委托是一个类型,这个类型可以赋值一个方法的引用。C#的委托通过delegate关键字来声明。声明委托的...

C#.NET in、out、ref详解(c#.net framework)

简介在C#中,in、ref和out是用于修改方法参数传递方式的关键字,它们决定了参数是按值传递还是按引用传递,以及参数是否必须在传递前初始化。基本语义对比修饰符传递方式可读写性必须初始化调用...

C#广义表(广义表headtail)

在C#中,广义表(GeneralizedList)是一种特殊的数据结构,它是线性表的推广。广义表可以包含单个元素(称为原子),也可以包含另一个广义表(称为子表)。以下是一个简单的C#广义表示例代...

「C#.NET 拾遗补漏」04:你必须知道的反射

阅读本文大概需要3分钟。通常,反射用于动态获取对象的类型、属性和方法等信息。今天带你玩转反射,来汇总一下反射的各种常见操作,捡漏看看有没有你不知道的。获取类型的成员Type类的GetMembe...

C#启动外部程序的问题(c#怎么启动)

IT&OT的深度融合是智能制造的基石。本公众号将聚焦于PLC编程与上位机开发。除理论知识外,也会结合我们团队在开发过程中遇到的具体问题介绍一些项目经验。在使用C#开发上位机时,有时会需要启动外部的一些...

全网最狠C#面试拷问:这20道题没答出来,别说你懂.NET!

在竞争激烈的C#开发岗位求职过程中,面试是必经的一道关卡。而一场高质量的面试,不仅能筛选出真正掌握C#和.NET技术精髓的人才,也能让求职者对自身技术水平有更清晰的认知。今天,就为大家精心准备了20道...

C#匿名方法(c#匿名方法与匿名类)

C#中的匿名方法是一种没有名称只有主体的方法,它提供了一种传递代码块作为委托参数的技术。以下是关于C#匿名方法的一些重要特点和用法:特点省略参数列表:使用匿名方法可省略参数列表,这意味着匿名方法...

C# Windows窗体(.Net Framework)知识总结

Windows窗体可大致分为Form窗体和MDI窗体,Form窗体没什么好细说的,知识点总结都在思维导图里面了,下文将围绕MDI窗体来讲述。MDI(MultipleDocumentInterfac...