百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

shell脚本100万文件批量重命名,mv执行效率对比rename,完败

bigegpt 2024-11-01 11:18 4 浏览

不定期分享shell脚本评测,喜欢我的文章,请关注我。

前言

我们在Linux系统中重命名一个文件时,大部分人首先想到的是使用mv命令,那么要是100万个文件呢?

如果使用mv那你要经历一个漫长等待的过程,实测需要30分钟以上,然而使用rename只用了不到1分多钟,相同服务器配置下这差距是简直不忍直视,需要注意的是mv是单个参数重复执行,而rename是使用通配符执行。

使用系统环境:Centos 7.6

Bash版本: v4.2.46

我们来看下shell脚本内容,这里我定义了三个函数,mk创建1万个目录并在每个最底层的子目录创建空文件,共计100万个空文件,rename_change函数使用rename命令修改文件名,mv_change函数使用mv命令修改文件名。

函数实现方式对比

  • mv 是按照匹配文件的相对路径,重复只执行单条命令,相当于每次获取一个入参,配合内置变量修改文件名。
  • rename是按照匹配到的文件的整个目录配合通配符执行,相当于每次的入参是整个目录,在rename通配符的特性,使用通配符匹配整个目录下的txt文件,这样就实现多个入参。
  • 如果服务器配置高的话可以使用,xargs -i 可将参数递给mv或者rename,每次只传递一个参数给命令,和使用for语句传递参数同理。
  • -P 0 可调度所有cpu进行最大限度并行处理,我服务器配置很低,单核2G,即使使用xargs,也没有rename_change执行效率高。
#find ./ -name *.txt|xargs -P 0 -i rename .txt .log .{}
#find ./ -name *.txt|awk -F '[.]' '{print $2}'|xargs -P 0 -i mv {}.txt {}.log

使用mk函数创建100万个txt后缀空文件

首先使用mk函数创建100万个文件,这个函数定义了多级目录,我主要考虑的是需要修改文件名的文件,在多级子目录下,函数里包含了mkdir和touch命令的特殊用法。

##函数示例mk
mk () {
mkdir -p {1..100}/{1..100}
for i in $(find ./ -mindepth 2 -type 'd');do
 touch $i/{1..100}.txt
done
}
#mkdir -p {1..100}/{1..100} 
##在当前目录下创建名称为1-100的目录,并在这1-100每个目录下创建1-100的目录。
#mkdir -p m/{n1,n2,n3}/{d1,d2,d3},n4}
##扩展用法创建m目录,并在n1,n2,n3,n4,在n3目录下创建d1,d2,d3。

在终端命令. mk.sh调用脚本里的环境到当前shell,"."和source命令是一样的效果,然后执行time mk查看创建100万个空文件用时。

[root@api change]# . ../mk.sh
[root@api change]# time mk

这里创建了100万个txt格式的空文件,用时55秒,速度还是不错的。在创建多个有规律的文件或目录时,使用mkdir和touch的特殊用法能够提升不少执行效率。

使用rename_change函数修改txt后缀为log后缀

接下使用rename_change函数将txt后缀修改成log后缀,

##函数示例rename_change
rename_change () {
Type='txt'
newtype='log'
for i in $(find ./ -name *.${Type}|xargs dirname|sort|uniq);do
 rename .${Type} .${newtype} ${i}/*.txt
done
}
#find ./ -name *.${Type}|xargs dirname|sort|uniq
##查找当前目录下的所有的txt文件,使用xargs命令将所有的文件绝对路径,传递给dirname获取到所有文件的目录名称,sort命令排序,uniq将去重复,最终获取到所有文件的目录。
#rename .txt .log ${i}/*.txt
##rename可以使用通配符,参数1:被字符串,参数2:替换的字符串,参数3:通配符匹配。

这里修改了100万个文件,只用了43秒,执行效率已经非常高了。

使用mv_change函数重复名文件

mv_change函数其实和下面使用xargs 的效果差不多,每一次都是执行一个参数,修改100万个文件那就只能计算修改一个文件用时,相乘计算了。

#find ./ -name *.txt|awk -F '[.]' '{print $2}'|xargs -P 0 -i mv {}.txt {}.log
##函数示例
mv_change () {
Type='txt'
newtype='log'
for i in $(find ./ -name *.txt);do
 mv $i ${i%.*}.${newtype}
done
}
#这里需要提到的是${i%.*}bash内置用法,它替代了awk命令,执行效率也提升不少。
#执行
# time mv ./86/10/44.log ./86/10/44.txt

单次mv 重命名,就使用了0.002秒,100万*0.002大约是33分钟。

总结

在相同服务器配置下,mv命令单参数重命名,完败rename命令通配符重命令文件,执行效率相差46倍。

喜欢我的文章,请关注我,谢谢。

相关推荐

悠悠万事,吃饭为大(悠悠万事吃饭为大,什么意思)

新媒体编辑:杜岷赵蕾初审:程秀娟审核:汤小俊审签:周星...

高铁扒门事件升级版!婚宴上‘冲喜’老人团:我们抢的是社会资源

凌晨两点改方案时,突然收到婚庆团队发来的视频——胶东某酒店宴会厅,三个穿大红棉袄的中年妇女跟敢死队似的往前冲,眼瞅着就要扑到新娘的高额钻石项链上。要不是门口小伙及时阻拦,这婚礼造型团队熬了三个月的方案...

微服务架构实战:商家管理后台与sso设计,SSO客户端设计

SSO客户端设计下面通过模块merchant-security对SSO客户端安全认证部分的实现进行封装,以便各个接入SSO的客户端应用进行引用。安全认证的项目管理配置SSO客户端安全认证的项目管理使...

还在为 Spring Boot 配置类加载机制困惑?一文为你彻底解惑

在当今微服务架构盛行、项目复杂度不断攀升的开发环境下,SpringBoot作为Java后端开发的主流框架,无疑是我们手中的得力武器。然而,当我们在享受其自动配置带来的便捷时,是否曾被配置类加载...

Seata源码—6.Seata AT模式的数据源代理二

大纲1.Seata的Resource资源接口源码2.Seata数据源连接池代理的实现源码3.Client向Server发起注册RM的源码4.Client向Server注册RM时的交互源码5.数据源连接...

30分钟了解K8S(30分钟了解微积分)

微服务演进方向o面向分布式设计(Distribution):容器、微服务、API驱动的开发;o面向配置设计(Configuration):一个镜像,多个环境配置;o面向韧性设计(Resista...

SpringBoot条件化配置(@Conditional)全面解析与实战指南

一、条件化配置基础概念1.1什么是条件化配置条件化配置是Spring框架提供的一种基于特定条件来决定是否注册Bean或加载配置的机制。在SpringBoot中,这一机制通过@Conditional...

一招解决所有依赖冲突(克服依赖)

背景介绍最近遇到了这样一个问题,我们有一个jar包common-tool,作为基础工具包,被各个项目在引用。突然某一天发现日志很多报错。一看是NoSuchMethodError,意思是Dis...

你读过Mybatis的源码?说说它用到了几种设计模式

学习设计模式时,很多人都有类似的困扰——明明概念背得滚瓜烂熟,一到写代码就完全想不起来怎么用。就像学了一堆游泳技巧,却从没下过水实践,很难真正掌握。其实理解一个知识点,就像看立体模型,单角度观察总...

golang对接阿里云私有Bucket上传图片、授权访问图片

1、为什么要设置私有bucket公共读写:互联网上任何用户都可以对该Bucket内的文件进行访问,并且向该Bucket写入数据。这有可能造成您数据的外泄以及费用激增,若被人恶意写入违法信息还可...

spring中的资源的加载(spring加载原理)

最近在网上看到有人问@ContextConfiguration("classpath:/bean.xml")中除了classpath这种还有其他的写法么,看他的意思是想从本地文件...

Android资源使用(android资源文件)

Android资源管理机制在Android的开发中,需要使用到各式各样的资源,这些资源往往是一些静态资源,比如位图,颜色,布局定义,用户界面使用到的字符串,动画等。这些资源统统放在项目的res/独立子...

如何深度理解mybatis?(如何深度理解康乐服务质量管理的5个维度)

深度自定义mybatis回顾mybatis的操作的核心步骤编写核心类SqlSessionFacotryBuild进行解析配置文件深度分析解析SqlSessionFacotryBuild干的核心工作编写...

@Autowired与@Resource原理知识点详解

springIOCAOP的不多做赘述了,说下IOC:SpringIOC解决的是对象管理和对象依赖的问题,IOC容器可以理解为一个对象工厂,我们都把该对象交给工厂,工厂管理这些对象的创建以及依赖关系...

java的redis连接工具篇(java redis client)

在Java里,有不少用于连接Redis的工具,下面为你介绍一些主流的工具及其特点:JedisJedis是Redis官方推荐的Java连接工具,它提供了全面的Redis命令支持,且...