百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

性能测试之数据库调优(数据库性能调优方法)

bigegpt 2024-08-01 11:51 10 浏览

调优方向

硬件:选择磁盘IO读写性能高,磁盘空间大的

操作系统:优先选择linux ,且在ulimit -n中修改打开文件的数量和线程数

查看数据库本身的配置 show variables ;

数据库本身的配置项


max_connections :MySQL的最大连接数,默认151,并发高时可以适当调高此值,以增加并行连接数里,因MySQL会为每个连接提供连接缓冲区,就会开销越多的内存,所以要适当调整该值。可通过Conn%通配符查看当前状态的连接数量,确定该值的大小


open_files_limit:MySQL打开的文件描述符限制:当此值没有被配置的时候,比较max_connections*5 ulimit -n 的值,选择两者大的 。当此值被配置的时,比较open_files_limitmax_connections*5 的值,哪个大用哪个


table_open_cache :MySQL每打开一个表,都会读入一些数据到Table open cache缓存中,当MySQL在这个缓存中找不到相应信息时,才会去磁盘上读取,若系统有200并发连接,则需将此参数设置为20*N(N为每个连接所需的文件描述符数);若设置为过大大,系统处理不了那么多文件描述符,会导致出现客户端失效,连接不上


max_heap_table_size:定义了用户可以创建的内存表(memory table)的大小。这个值用来计算内存表的最大行数值。默认16M


tmp_table_size :临时表大小


read_buffer_size:读入缓冲区大小。对表进行顺序扫描的请求将分配一读入缓冲区,MySQL会为它分配一段内存缓冲区read bufer size变里控制这一缓冲区的大小;如果对表的顺序扫描请求非常频繁,并且你认为频繁扫描进行得太慢,可以通过增加read_buffer_size和内存缓冲区天小可以提高扫描性能


sort_buffer_size:控制排序使用的缓冲大小。如果想要增加ORDER BY的速度,首先看是否可以让MySQL使用索引而不是额外的排序阶段,如果不能,可以尝试增加sort_buffer_size 变量的大小


join_buffer_size :联合查询操作所能使用的缓冲区大小,和sort_buffer_size一样,该参数对应的分配内存也是连接独享


slow_query_log:是否开启慢查询日志

slow_query_log_file 慢查询开关开启启,慢查询脚本会自动写入文件


long_query_time :慢查询阀值时间 sql的执行时间超过这个设定时间,就是慢查询。单位: 秒


innodb_open_files:限制innodb能打开的表数据


wait_timeout: 服务器关交互连接之前等待活动的秒数。在线程启动时,根据全局wat tmeout值或全局interacive tmeout值初始化会wat timeout值,取决于客户端类型(由mysal real connect)的连接选项CLIENT INTERACTIVE定义)。参数默认值:28800秒(8小时)


模拟慢查询

获取到慢查询脚本的方法

1.开启 slow_query_log 开关,现在是关闭状态,需要操作配置文件进行修改

2,通过docker exec -it 容器名称 /bin/bash 进去数据库容器内部

找到容器中 mysql的配置文件路径 /etc/mysql/mysql.cnf

进入alternatives目录,查看到my.cnf 已经软链接到容器内的/etc/mysql 目录下

3. 从容器中,拷贝路径下 mysql.cnf文件到本机linux外

执行命令:docker cp 容器名称 :/etc/mysql/mysql.cnf $PWD


4.修改文件添加内容 :

slow_query_log=ON #开关

long_query_time=1 #超时1s


5.把修改好的mysqld.cnf文件,再次复制到容器中去 (cp 源 路径)

docker cp mysqld.cnf centos7_mysql57:/etc/mysql/mysql.conf.d/mysqld.cnf


6.重启容器之后,日志,就根据long_query_time的时间,判断,超过这个时间,那么就会写入slow_query_log_file文件中去


编写压测脚本对服务器进行压测

将慢sql日志文件复制出来 :docker cp 容器名称:/var/lib/mysql/e2d0077fb342-slow.log $PWD


常见错误: Too many connections

需要适当调整 max_connections的值

查看最大配置的最大连接数:show variables like 'max_connections%';

查看用户已建立的连接数:show GLOBAL status like 'max_used_connections%';

若:max_connections的值和 max_used_connections的值接近说明数据库连接数不足,需要进行以下操作

调整参数:适当修改max connections值 200-1000 的区间。

调整项目本身的配置,如连接池


  • initialSize 初始化连接数
  • maxActive 连接池的最大连接数,0表示无限制
  • maxldle 最大空闲连接,暂时不断开,随时待命
  • minldle 最小空闲连接
  • maxWait 超时等待时间,毫秒;-1表示无限等待,直到超时

在数据库机器执行下面的命令,可以看到数据库总连接数

netstat -ano|grep 数据库端口|grep ESTABLISHED |wc -l


在数据库机器中执行 可以看到 应用程序与 数据库建立连接数有多少

netstat -ano|grep 数据库端口|grep 服务端ip|grep ESTABLISHED |wc -l

相关推荐

当Frida来“敲”门(frida是什么)

0x1渗透测试瓶颈目前,碰到越来越多的大客户都会将核心资产业务集中在统一的APP上,或者对自己比较重要的APP,如自己的主业务,办公APP进行加壳,流量加密,投入了很多精力在移动端的防护上。而现在挖...

服务端性能测试实战3-性能测试脚本开发

前言在前面的两篇文章中,我们分别介绍了性能测试的理论知识以及性能测试计划制定,本篇文章将重点介绍性能测试脚本开发。脚本开发将分为两个阶段:阶段一:了解各个接口的入参、出参,使用Python代码模拟前端...

Springboot整合Apache Ftpserver拓展功能及业务讲解(三)

今日分享每天分享技术实战干货,技术在于积累和收藏,希望可以帮助到您,同时也希望获得您的支持和关注。架构开源地址:https://gitee.com/msxyspringboot整合Ftpserver参...

Linux和Windows下:Python Crypto模块安装方式区别

一、Linux环境下:fromCrypto.SignatureimportPKCS1_v1_5如果导包报错:ImportError:Nomodulenamed'Crypt...

Python 3 加密简介(python des加密解密)

Python3的标准库中是没多少用来解决加密的,不过却有用于处理哈希的库。在这里我们会对其进行一个简单的介绍,但重点会放在两个第三方的软件包:PyCrypto和cryptography上,我...

怎样从零开始编译一个魔兽世界开源服务端Windows

第二章:编译和安装我是艾西,上期我们讲述到编译一个魔兽世界开源服务端环境准备,那么今天跟大家聊聊怎么编译和安装我们直接进入正题(上一章没有看到的小伙伴可以点我主页查看)编译服务端:在D盘新建一个文件夹...

附1-Conda部署安装及基本使用(conda安装教程)

Windows环境安装安装介质下载下载地址:https://www.anaconda.com/products/individual安装Anaconda安装时,选择自定义安装,选择自定义安装路径:配置...

如何配置全世界最小的 MySQL 服务器

配置全世界最小的MySQL服务器——如何在一块IntelEdison为控制板上安装一个MySQL服务器。介绍在我最近的一篇博文中,物联网,消息以及MySQL,我展示了如果Partic...

如何使用Github Action来自动化编译PolarDB-PG数据库

随着PolarDB在国产数据库领域荣膺桂冠并持续获得广泛认可,越来越多的学生和技术爱好者开始关注并涉足这款由阿里巴巴集团倾力打造且性能卓越的关系型云原生数据库。有很多同学想要上手尝试,却卡在了编译数据...

面向NDK开发者的Android 7.0变更(ndk android.mk)

订阅Google官方微信公众号:谷歌开发者。与谷歌一起创造未来!受Android平台其他改进的影响,为了方便加载本机代码,AndroidM和N中的动态链接器对编写整洁且跨平台兼容的本机...

信创改造--人大金仓(Kingbase)数据库安装、备份恢复的问题纪要

问题一:在安装KingbaseES时,安装用户对于安装路径需有“读”、“写”、“执行”的权限。在Linux系统中,需要以非root用户执行安装程序,且该用户要有标准的home目录,您可...

OpenSSH 安全漏洞,修补操作一手掌握

1.漏洞概述近日,国家信息安全漏洞库(CNNVD)收到关于OpenSSH安全漏洞(CNNVD-202407-017、CVE-2024-6387)情况的报送。攻击者可以利用该漏洞在无需认证的情况下,通...

Linux:lsof命令详解(linux lsof命令详解)

介绍欢迎来到这篇博客。在这篇博客中,我们将学习Unix/Linux系统上的lsof命令行工具。命令行工具是您使用CLI(命令行界面)而不是GUI(图形用户界面)运行的程序或工具。lsoflsof代表&...

幻隐说固态第一期:固态硬盘接口类别

前排声明所有信息来源于网络收集,如有错误请评论区指出更正。废话不多说,目前固态硬盘接口按速度由慢到快分有这几类:SATA、mSATA、SATAExpress、PCI-E、m.2、u.2。下面我们来...

新品轰炸 影驰SSD多款产品登Computex

分享泡泡网SSD固态硬盘频道6月6日台北电脑展作为全球第二、亚洲最大的3C/IT产业链专业展,吸引了众多IT厂商和全球各地媒体的热烈关注,全球存储新势力—影驰,也积极参与其中,为广大玩家朋友带来了...