我的投机取巧竟然忘了mysql还有一个最大值的限制

bigegpt 2024-11-18 09:00 3 浏览

前言：项目开发中没有考虑到数据量的问题，在运行阶段突然有一天报Packet for query is too large错误。这里先说个例子，比如有10条数据需要插入到数据库。我们通常的实现是：

List<Object> list = new ArrayList<>();
for(int i=0;i<list .size());i++){
    insert(list.get(i)))
}
// sql语句就是10个insert into table values(?,?)

而我不想在循环list了，我想一条sql搞定，因为mysql不是可以insert into table values(?,?)，(?,?)，(?,?)这样写吗。我在mybatis中使用foreach就可以实现了。

List<Object> list = new ArrayList<>();
Map<String,Object> map = new HashMap<String,Object>();
map.put("list",list);
insert(map);

如下mybatis中foreach的写法，collection中的list就是我map中的list。

但是这里有个bug，我没有考虑到mysql中有一个大小限制，即max_allowed_packet。

项目这是运行后，发现有一个大账户，插入一直报错，查看日志发现如图错误。

Cause: com.mysql.jdbc.PacketTooBigException: Packet for query is too large

意思就是我超过Packet的最大限制了。也就是我上面提到的max_allowed_packet这个参数。查看这个参数：

1048576字节=1M，也就是mysql默认的。那么问题来了，我是修改这个参数，还是另寻其它解决办法。我选择了最后一个。原因：

不知道大家有没有实现过采用文件的形式插入数据，即load方式。

我的实现方式，先把数据写入到csv文件里，我通过load把这个文件的数据插入到数据库。

这里呢一定要注意编码问题，不然会乱码还有数据之间是采用什么分隔的，如csv就是使用“,”分隔。

csv文件导入的sql：

LOAD DATA LOCAL INFILE 'E:/1111.csv' ignore into table qwe1231 CHARACTER SET utf8
      fields terminated by ',' enclosed by "" IGNORE 1 LINES

总结：

相关推荐