百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

MyBatis实现批量插入或更新功能方案

bigegpt 2024-08-03 11:48 4 浏览

背景

项目中有这么一个需求,数据库是MySQL:

  1. 提供一个接口,能够批量插入或更新业务数据,对新数据进行插入操作,已存在的记录进行更新操作。
  2. 更新时,需要判断业务中的某些状态,对符合一定条件的状态进行更新。
  3. 接口的响应速度要快。

思考

这种需要在业务系统中属于比较常见的类型,首先我们能想到的是编写一个插入和一个更新的操作方法,在接收到请求的数据列表后,循环该数据列表,在入库前,先根据主键查询一下,若不存在,则执行插入动作;若存在,则执行更新操作。

那么问题来了,如果按以上逻辑实现的话,可以想象一下,若该接口传输的数据量比较大,我们的性能可想而知,由于每条数据在插入或更新前,都需要先查询一下,数据量大的话,频繁的建立数据库连接和查询,对性能一定是有很大影响的。那么,我们有没有什么方法能够提高一下效率呢?答案是肯定有的。

数据准备

为了方便演示,我们先创建一个数据库test,再创建一张表students,表结构如下:


建表语句如下:

CREATE TABLE `students` (
  `id_card` varchar(18) NOT NULL COMMENT '身份证号',
  `name` varchar(20) DEFAULT NULL COMMENT '姓名',
  `sex` char(1) DEFAULT NULL COMMENT '姓别',
  `class` varchar(32) DEFAULT NULL COMMENT '班级',
  PRIMARY KEY (`id_card`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

解决方案

  • 方案一

由于我们需要执行插入或删除操作,因此,这两个操作能不能合并成一条SQL语句,我们只需要编写一个插入或更新的方法呢?

答案是肯定的,MySQL中的”ON DUPLICATE KEY UPDATE“语法能满足我们的需求,如果在INSERT语句末尾指定了ON DUPLICATE KEY UPDATE,并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值,则在出现重复值的行执行UPDATE;如果不会导致唯一值列重复的问题,则插入新行。


注意:ON DUPLICATE KEY UPDATE只是MySQL的特有语法,并不是SQL标准语法!


因此,编写一个批量插入或更新方法insertOrUpdate(),我们只需要在接收到请求的数据列表后,组装成一个List对象,再循环该对象做相应的查询判断逻辑操作,组装成一个新的List,调用批量执行插入或更新的方法即可满足我们的业务需求。


insertOrUpdate()方法MyBatis动态语句参考


<update id="insertOrUpdate" parameterType="java.util.List">
	insert into students(id_card,name,sex,class)
	values
	<foreach close="" collection="list" index="index" item="item"
		open="" separator=",">
		(
		  #{item.idCard},
		  #{item.name},
		  #{item.sex},
		  #{item.class}
		  )
	</foreach>
	ON DUPLICATE KEY UPDATE			
	id_card = values(idCard),
	name = values(name),
	sex = values(sex), 
	class = values(class)		    
</update>
  • 方案二

方案一虽然解决了批量执行插入或更新的问题,但是仍然没有解决性能问题,如果数据量大的话,批量插入或更新方法insertOrUpdate()动态SQL语句会十分长;另外依然需要循环查询数据记录做逻辑判断。那么我们该如何解决动态SQL语句长的问题呢?

根据实际经验,如果请求接口数据量大于1000条的话,执行速度会相当慢,估计需要耗时10多秒,这样的速度客户是无法忍受的。那么该如何优化呢?我们可不可以将数据进行分页,每页数据指定大小,比如100条数据执行一下insertOrUpdate()呢?答案是肯定的,如果按分页思想进行批量插入或更新的话,性能可以提高到50%左右。

  • 方案三

虽然方案二已经使性能有了很大的提高,但是还是不能满足现有业务的要求,我们还能不能再缩短一些呢?答案是肯定的,我们只需要在方案二的基础上,把循环查询数据记录做逻辑判断这一部分进行优化即可,只要我们可以让数据一次性查询出来存放在内存中,而不需要每次都连数据库查询,基于这个思想,我们是不是又能更进一步呢?

结尾

经过我们层层思考,我们的方案三是最优的,性能也是最佳的,好了,我就讲解到这里了,我是攻城狮华仔,欢迎关注我,有问题可以留言或私信我哦!

相关推荐

得物可观测平台架构升级:基于GreptimeDB的全新监控体系实践

一、摘要在前端可观测分析场景中,需要实时观测并处理多地、多环境的运行情况,以保障Web应用和移动端的可用性与性能。传统方案往往依赖代理Agent→消息队列→流计算引擎→OLAP存储...

warm-flow新春版:网关直连和流程图重构

本期主要解决了网关直连和流程图重构,可以自此之后可支持各种复杂的网关混合、多网关直连使用。-新增Ruoyi-Vue-Plus优秀开源集成案例更新日志[feat]导入、导出和保存等新增json格式支持...

扣子空间体验报告

在数字化时代,智能工具的应用正不断拓展到我们工作和生活的各个角落。从任务规划到项目执行,再到任务管理,作者深入探讨了这款工具在不同场景下的表现和潜力。通过具体的应用实例,文章展示了扣子空间如何帮助用户...

spider-flow:开源的可视化方式定义爬虫方案

spider-flow简介spider-flow是一个爬虫平台,以可视化推拽方式定义爬取流程,无需代码即可实现一个爬虫服务。spider-flow特性支持css选择器、正则提取支持JSON/XML格式...

solon-flow 你好世界!

solon-flow是一个基础级的流处理引擎(可用于业务规则、决策处理、计算编排、流程审批等......)。提供有“开放式”驱动定制支持,像jdbc有mysql或pgsql等驱动,可...

新一代开源爬虫平台:SpiderFlow

SpiderFlow:新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。-精选真开源,释放新价值。概览Spider-Flow是一个开源的、面向所有用户的Web端爬虫构建平台,它使用Ja...

通过 SQL 训练机器学习模型的引擎

关注薪资待遇的同学应该知道,机器学习相关的岗位工资普遍偏高啊。同时随着各种通用机器学习框架的出现,机器学习的门槛也在逐渐降低,训练一个简单的机器学习模型变得不那么难。但是不得不承认对于一些数据相关的工...

鼠须管输入法rime for Mac

鼠须管输入法forMac是一款十分新颖的跨平台输入法软件,全名是中州韵输入法引擎,鼠须管输入法mac版不仅仅是一个输入法,而是一个输入法算法框架。Rime的基础架构十分精良,一套算法支持了拼音、...

Go语言 1.20 版本正式发布:新版详细介绍

Go1.20简介最新的Go版本1.20在Go1.19发布六个月后发布。它的大部分更改都在工具链、运行时和库的实现中。一如既往,该版本保持了Go1的兼容性承诺。我们期望几乎所...

iOS 10平台SpriteKit新特性之Tile Maps(上)

简介苹果公司在WWDC2016大会上向人们展示了一大批新的好东西。其中之一就是SpriteKitTileEditor。这款工具易于上手,而且看起来速度特别快。在本教程中,你将了解关于TileE...

程序员简历例句—范例Java、Python、C++模板

个人简介通用简介:有良好的代码风格,通过添加注释提高代码可读性,注重代码质量,研读过XXX,XXX等多个开源项目源码从而学习增强代码的健壮性与扩展性。具备良好的代码编程习惯及文档编写能力,参与多个高...

Telerik UI for iOS Q3 2015正式发布

近日,TelerikUIforiOS正式发布了Q32015。新版本新增对XCode7、Swift2.0和iOS9的支持,同时还新增了对数轴、不连续的日期时间轴等;改进TKDataPoin...

ios使用ijkplayer+nginx进行视频直播

上两节,我们讲到使用nginx和ngixn的rtmp模块搭建直播的服务器,接着我们讲解了在Android使用ijkplayer来作为我们的视频直播播放器,整个过程中,需要注意的就是ijlplayer编...

IOS技术分享|iOS快速生成开发文档(一)

前言对于开发人员而言,文档的作用不言而喻。文档不仅可以提高软件开发效率,还能便于以后的软件开发、使用和维护。本文主要讲述Objective-C快速生成开发文档工具appledoc。简介apple...

macOS下配置VS Code C++开发环境

本文介绍在苹果macOS操作系统下,配置VisualStudioCode的C/C++开发环境的过程,本环境使用Clang/LLVM编译器和调试器。一、前置条件本文默认前置条件是,您的开发设备已...