MySQL 单表可以放多少数据,最多 2000 万?
bigegpt 2024-11-18 09:00 4 浏览
关于单表能存多少数据,阿里 JAVA 开发手册提出,建议最大 2000 万。
然后也看过一篇文章,可以往单表塞 1 亿。
当然,以上其实都有一些理论支撑,但是都不全面,也没有结合具体实际的场景。
这篇文章,结合之前学习的知识,进行一个整体汇总,并贴合实际场景展开。
01 理论知识
B+ 树
MySQL 的底层结构用 B+ 树存储,这个估计地球人都知道。
为了便于后续讲解,先普及几个概念:
- 对于非聚集索引,B+ 树的叶子节点和非叶子节点存储的都是索引指针;
- 对于聚集索引,B+ 树的非叶子节点存储的是索引指针,叶子节点存储的是数据,顺序排列;
- InnoDB 中的 B+ 树的高度一般会保持在 3 层以内,我们就以 3 层来定。
下图是聚集索引,3 层 B+ 树的结构:
虚线部分,可以找到对应页码的数据,这里很基础,不去过多解读。
页存储
B+ 树节点的存储结构是 “页”,一页的大小 16 KB。
下面是页结构示意图:
再看看对页结构的解读:
那一页能留多少存储空间呢?
除了 User Records 和 Free Space 以外所占用的存储是 38 + 56 + 26 + 8 = 128。
当新记录插入到 InnoDB 聚集索引中时,InnoDB 会尝试留出 1/16 的页面空闲以供将来插入和更新索引记录,所以就只剩下 15/16。
可存储空间 = 15/16 * 1024 - 128 = 15232 字节。
行存储
MySQL 的数据是行存储,MySQL 5.6 默认行格式为 COMPACT(紧凑),5.7 及以后的默认行为 DYNAMIC(动态)。
下面是行结构示意图:
再看看对行结构的解读:
02 叶子节点计算
3 层 B+ 树最大数据量
前面说了,我们的 B+ 树是 3 层,第一层就一个根节点,能存放 X 个指针。
第二层的每个节点,也能存放 X 个指针,指向第三层 X 个节点。
第三层的每个节点,存放 Y 个数据。
3 层 B+ 树最大数据量 = x ^ 2 * y。
叶子节点总数 x ^ 2 计算
我们先看一页能存储多少个指针索引。
每一条索引记录当中都包含了当前索引的值 、一个 6 字节的指针信息 、一个 5 字节的行标头,用来指向下一层数据页的指针。
索引记录当中的指针占用空间我没在官方文档里找到,这个 6 字节是我参考其他博文,他们说源码里写的是 6 字节。
假设我们的主键 id 为 bigint 型,也就是 8 字节。
索引指针大小:8 + 6 + 5 = 19 字节。
前面已经算出,每页可存储空间 15232 字节。
单页可存储索引指针:15232 / 19 ≈ 801 条。
那算上页目录的话,按每个槽平均 6 条数据计算的话,至少有 801 / 6 ≈ 134 个槽,需要占用 268 字节的空间。
把存数据的空间分一点给槽的话,我算出来大约可以存 787 条索引数据。
单页数据存储索引指针:
- 最终单页可存储 bigint 型索引指针:(15232 - 268)/ 19 ≈ 787 条;
- 最终单页可存储 int 型索引指针 993 条。
叶子节点总数:
- 主键为 bigint 的表可以存放 787 ^ 2 = 619369 个叶子节点;
- 主键为 int 的表可以存放 993 ^ 2 = 986049 个叶子节点。
说明:以上的数据计算,仅供参考,因为有的文章说,在主键为 bigint 的情况下,可存放 160 万叶子节点,整整多出 65 万。
03 总记录数计算
溢出页
前面提到过,MySQL 行存储格式包括 COMPACT 和 DYNAMIC,我们这里只看 DYNAMIC。
DYNAMIC 怎么理解?
在一行数据中,当某列太长时,叶子节点无需将该数据直接存储 ,而是存储指向该数据的指针,真实数据全部存储在溢出页。
使用 DYNAMIC 格式,较短的列会尽可能保留在 B+ 树节点中,从而最大限度地减少给定行所需的溢出页数。
那 COMPACT 呢?
COMPACT 行格式则是将前 768 个字节和 20 字节的指针存储在 B+ 树节点的记录中,其余部分存储在溢出页上。
这里我们只讨论 DYNAMIC 情况。
最少总记录数
前面我们提到,最大行长度略小于数据库页面的一半,之所以是略小于一半,是由于每个页面还留了点空间给页格式的其他内容,所以我们可以认为每个页面最少能放两条数据,每条数据略小于 8 KB。
如果某行的数据长度超过这个值,那 InnoDB 肯定会分一些数据到 溢出页当中去了,所以我们不考虑。
那每条数据 8 KB 的话,每个叶子节点就只能存放 2 条数据。
在主键为 int 的情况下,最少总记录数:2 × 986049 ≈ 124 万。
最多总记录数
假设我们的表是这样的:
CREATE TABLE `course_schedule` (
`id` int NOT NULL,
`teacher_id` int NOT NULL,
`course_id` int NOT NULL,
PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
先来分析一下这张表的行数据:无 null 值列表,无可变长字段列表,需要算上事务 ID 和指针字段,需要算上行记录头。
每行数据占用空间:4 + 4 + 4 + 6 + 7 + 5 = 30。
每个叶子节点存放:15232 ÷ 30 ≈ 507。
算上页目录槽位所占空间,每个叶子节点可存放 502 条。
在主键为 int 的情况下,最多总记录数:502 × 986049 ≈ 5 亿。
04 实际场景
上面的场景是两个极端, 我们看一个具体的示例。
CREATE TABLE `blog` (
`id` bigint unsigned NOT NULL AUTO_INCREMENT COMMENT '博客id',
`author_id` bigint unsigned NOT NULL COMMENT '作者id',
`title` varchar(50) CHARACTER SET utf8mb4 NOT NULL COMMENT '标题',
`description` varchar(250) CHARACTER SET utf8mb4 NOT NULL COMMENT '描述',
`school_code` bigint unsigned DEFAULT NULL COMMENT '院校代码',
`cover_image` char(32) DEFAULT NULL COMMENT '封面图',
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`release_time` datetime DEFAULT NULL COMMENT '首次发表时间',
`modified_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '修改时间',
`status` tinyint unsigned NOT NULL COMMENT '发表状态',
`is_delete` tinyint unsigned NOT NULL DEFAULT 0,
PRIMARY KEY (`id`),
KEY `author_id` (`author_id`),
KEY `school_code` (`school_code`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COLLATE=utf8_general_mysql500_ci ROW_FORMAT=DYNAMIC;
分析一下这张表的行记录:
- 行记录头信息:肯定得有,占用 5 字节;
- 可变长度字段列表:表中 title 占用 1 字节,description 占用 2 字节,共 3 字节;
- null 值列表:表中仅 school_code、cover_image、release_time 3 个字段可为 null,故仅占用 1 字节;
- 事务 ID 和指针字段:两个都得有,占用 13 字节。
再看看字段内容信息:
- id、author_id、school_code 均为 bigint 型,各占用 8 字节,共 24 字节;
- create_time、release_time、modified_time 均为 datetime 类型,各占 8 字节,共 24 字节;
- status、is_delete 为 tinyint 类型,各占用 1 字节,共 2 字节;
- cover_image 为char(32),字符编码为表默认值 utf8,占用 32 字节;
- title、description 分别为 varchar(50)、varchar(250),这两个应该都不会产生溢出页(不太确定),字符编码均为 utf8mb4,实际生产中 70% 以上都是存的中文( 3 字节),25% 为英文(1 字节),还有 5% 为 4 字节的表情,则存满的情况下将占用 (50+250)×(0.7×3+0.25×1+0.05×4) = 765 字节。
统计上面的所有分析,共占用 869 字节,则每个叶子节点可以存放 15232 ÷ 869 ≈ 17 条,算上页目录,仍然能放 17 条。
主键为 bigint,最大总记录数:17× 619369=10,529,273 ≈ 1053 万。
相关推荐
- 悠悠万事,吃饭为大(悠悠万事吃饭为大,什么意思)
-
新媒体编辑:杜岷赵蕾初审:程秀娟审核:汤小俊审签:周星...
- 高铁扒门事件升级版!婚宴上‘冲喜’老人团:我们抢的是社会资源
-
凌晨两点改方案时,突然收到婚庆团队发来的视频——胶东某酒店宴会厅,三个穿大红棉袄的中年妇女跟敢死队似的往前冲,眼瞅着就要扑到新娘的高额钻石项链上。要不是门口小伙及时阻拦,这婚礼造型团队熬了三个月的方案...
- 微服务架构实战:商家管理后台与sso设计,SSO客户端设计
-
SSO客户端设计下面通过模块merchant-security对SSO客户端安全认证部分的实现进行封装,以便各个接入SSO的客户端应用进行引用。安全认证的项目管理配置SSO客户端安全认证的项目管理使...
- 还在为 Spring Boot 配置类加载机制困惑?一文为你彻底解惑
-
在当今微服务架构盛行、项目复杂度不断攀升的开发环境下,SpringBoot作为Java后端开发的主流框架,无疑是我们手中的得力武器。然而,当我们在享受其自动配置带来的便捷时,是否曾被配置类加载...
- Seata源码—6.Seata AT模式的数据源代理二
-
大纲1.Seata的Resource资源接口源码2.Seata数据源连接池代理的实现源码3.Client向Server发起注册RM的源码4.Client向Server注册RM时的交互源码5.数据源连接...
- 30分钟了解K8S(30分钟了解微积分)
-
微服务演进方向o面向分布式设计(Distribution):容器、微服务、API驱动的开发;o面向配置设计(Configuration):一个镜像,多个环境配置;o面向韧性设计(Resista...
- SpringBoot条件化配置(@Conditional)全面解析与实战指南
-
一、条件化配置基础概念1.1什么是条件化配置条件化配置是Spring框架提供的一种基于特定条件来决定是否注册Bean或加载配置的机制。在SpringBoot中,这一机制通过@Conditional...
- 一招解决所有依赖冲突(克服依赖)
-
背景介绍最近遇到了这样一个问题,我们有一个jar包common-tool,作为基础工具包,被各个项目在引用。突然某一天发现日志很多报错。一看是NoSuchMethodError,意思是Dis...
- 你读过Mybatis的源码?说说它用到了几种设计模式
-
学习设计模式时,很多人都有类似的困扰——明明概念背得滚瓜烂熟,一到写代码就完全想不起来怎么用。就像学了一堆游泳技巧,却从没下过水实践,很难真正掌握。其实理解一个知识点,就像看立体模型,单角度观察总...
- golang对接阿里云私有Bucket上传图片、授权访问图片
-
1、为什么要设置私有bucket公共读写:互联网上任何用户都可以对该Bucket内的文件进行访问,并且向该Bucket写入数据。这有可能造成您数据的外泄以及费用激增,若被人恶意写入违法信息还可...
- spring中的资源的加载(spring加载原理)
-
最近在网上看到有人问@ContextConfiguration("classpath:/bean.xml")中除了classpath这种还有其他的写法么,看他的意思是想从本地文件...
- Android资源使用(android资源文件)
-
Android资源管理机制在Android的开发中,需要使用到各式各样的资源,这些资源往往是一些静态资源,比如位图,颜色,布局定义,用户界面使用到的字符串,动画等。这些资源统统放在项目的res/独立子...
- 如何深度理解mybatis?(如何深度理解康乐服务质量管理的5个维度)
-
深度自定义mybatis回顾mybatis的操作的核心步骤编写核心类SqlSessionFacotryBuild进行解析配置文件深度分析解析SqlSessionFacotryBuild干的核心工作编写...
- @Autowired与@Resource原理知识点详解
-
springIOCAOP的不多做赘述了,说下IOC:SpringIOC解决的是对象管理和对象依赖的问题,IOC容器可以理解为一个对象工厂,我们都把该对象交给工厂,工厂管理这些对象的创建以及依赖关系...
- java的redis连接工具篇(java redis client)
-
在Java里,有不少用于连接Redis的工具,下面为你介绍一些主流的工具及其特点:JedisJedis是Redis官方推荐的Java连接工具,它提供了全面的Redis命令支持,且...
- 一周热门
- 最近发表
- 标签列表
-
- mybatiscollection (79)
- mqtt服务器 (88)
- keyerror (78)
- c#map (65)
- resize函数 (64)
- xftp6 (83)
- bt搜索 (75)
- c#var (76)
- mybatis大于等于 (64)
- xcode-select (66)
- mysql授权 (74)
- 下载测试 (70)
- linuxlink (65)
- pythonwget (67)
- androidinclude (65)
- logstashinput (65)
- hadoop端口 (65)
- vue阻止冒泡 (67)
- oracle时间戳转换日期 (64)
- jquery跨域 (68)
- php写入文件 (73)
- kafkatools (66)
- mysql导出数据库 (66)
- jquery鼠标移入移出 (71)
- 取小数点后两位的函数 (73)