百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

Minio的安装和数据高可用原理

bigegpt 2024-08-11 14:15 7 浏览

Minio是一款分布式对象存储软件,使用比较广泛。这篇文章介绍Minio的安装,这是一个准生产环境的安装,如果是生产环境需要考虑日后的扩容和高可用保证。

  • 实验环境

操作系统:CentOS Linux release 7.9.2009 (Core)

Minio版本:

minio version RELEASE.2024-04-06T05-26-02Z (commit-id=9d63bb1b418f6c1bbcc8434fff5d8aba810ee5d7)
Runtime: go1.21.9 linux/amd64
License: GNU AGPLv3 <https://www.gnu.org/licenses/agpl-3.0.html>
Copyright: 2015-2024 MinIO, Inc.

集群配置:单节点配置四块硬盘

  • 前期准备

升级内核:CentOS 7.9默认是3.10版本的内核,按官方建议升级到4.0及以上。

包含序号的主机名:minio1.example.cn,这个主要为后面扩容方便。

时间同步:生产环境minio多节点部署,需要时间同步,可以安装ntpd并配置国内时间服务器。

硬盘配置:服务器挂载四块硬盘,并格式化为XFS文件系统,格式化时配置label。

其他三块硬盘使用相同命令格式化,label分别为“minio12,minio13,minio14”。

配置/etc/fstab,并执行命令“mount -a”挂载全部硬盘

  • 安装与配置

从minio官网下载minio.rpm文件,使用rpm -i minio.rpm命令安装,这是官方推荐的minio安装方式,它会自动创建minio的 Systemd Unit文件,这样可以通过systemd来管理服务的启停。启动前创建环境变量文件,

/etc/default/minio

MINIO_VOLUMES="http://minio1.example.cn:9000/mnt/disk{1...4}/minio"
MINIO_OPTS="--console-address :9001"
MINIO_ROOT_USER=minioadmin
MINIO_ROOT_PASSWORD=minioadminWo3
MINIO_SERVER_URL="http://minio1.example.cn:9000"

因为minio Unit文件使用minio-user用户管理minio服务,所以需要创建minio-user系统用户

useradd minio-user

修改后端存储的目录所有者为minio-user

chown -R minio-user:minio-user /mnt

使用下面命令启动服务并配置开机自启

systemctl start minio
systemctl enable minio

此时使用浏览器访问“http://minio1.example.cn:9001”,即可访问minio的Web管理界面。

  • mc安装与集群访问

mc是minio的命令行管理工具,因为也是使用Golang编写,直接官网下载放到$PATH环境变量包含的目录并赋予可执行权限便可使用,添加访问Alias,

mc alias set mm http://minio1.example.cn:9000 minioadmin minioadminWo3

配置按照下面格式即可,

mc alias set ALIAS URL ACCESSKEY SECRETKEY

mc的帮助文档很全面,有任何疑问可以使用"mc -h"这样的格式查询文档,“-h”放在末尾

  • 高可用原理

使用上面配置好的mc命令查看集群状态,显示如下,

可知minio集群有一个服务器池(Pool),一个纠删集(Erasure sets),其中包含四块硬盘。minio使用了纠删码(Erasure Coding)来提高数据的冗余性和可靠性,上面纠删集大小是4(因为是四块硬盘),这四块硬盘有一部分用来存储对象的真实数据,有一部分用来存储对象的校验数据(Parity),根据minio的默认设置(STANDARD storage class)如下,

四块硬盘将有两块用来存储对象真实数据,其他两块用来存储校验数据。使用的底层空间是实际数据的两倍。下面这幅图可以看出文件系统确实被占用了实际数据的两倍,

优点是损失任意两块(不管是数据盘还是校验盘)硬盘不影响数据的只读,损失一块不影响数据的读写。可以手动umount掉两块硬盘,验证这个理论,

模拟硬盘故障,umount掉两块硬盘后,数据仍然可以正常读取,但是已经不能写入了,

这里使用的默认奇偶校验(Default Parity)为EC:2,因为总共只有四块硬盘,已经达到最大的EC:N,其中N为存放校验数据的硬盘块数,minio为了防止裂脑,限制了写入操作,但读取不受影响。

  • 总结

生产环境要规划好服务器的个数和每台服务器硬盘的个数,最大限度保证数据的高可用也方便后续的空间扩容。

希望这篇文章能帮助到你!

相关推荐

5分钟搭建公网https网页文件服务器,免费权威TLS证书

请关注本头条号,每天坚持更新原创干货技术文章。如需学习视频,请在微信搜索公众号“智传网优”直接开始自助视频学习前言本文主要讲解如何快速搭建一个https网页文件服务器,并免费申请权威机构颁发的tls证...

nginx负载均衡配置(nginx负载均衡配置两个程序副本)

Nginx是什么没有听过Nginx?那么一定听过它的“同行”Apache吧!Nginx同Apache一样都是一种WEB服务器。基于REST架构风格,以统一资源描述符(UniformResources...

19《Nginx 入门教程》Nginx综合实践

今天我们将基于Nginx完成两个比较有用的场景,但是用到的Nginx的配置非常简单。内部Yum源搭建内部Pip源搭建1.实验环境ceph1centos7.6内网ip:172.16....

Nginx性能调优与优化指南(nginx优化配置大全)

Nginx性能调优需要结合服务器硬件资源、业务场景和负载特征进行针对性优化。以下是一些关键优化方向和具体配置示例:一、Nginx配置优化1.进程与连接数优化nginxworker_process...

C++后端开发必须彻底搞懂Nginx,从原理到实战(高级篇)

本文为Nginx实操高级篇。通过配置Nginx配置文件,实现正向代理、反向代理、负载均衡、Nginx缓存、动静分离和高可用Nginx6种功能,并对Nginx的原理作进一步的解析。当需...

【Nginx】史上最全的Nginx配置详解

Nginx服务器配置中最频繁的部分,代理、缓存和日志定义等绝大多数功能和第三方模块的配置都在这里,http块又包括http全局块和server块。Nginx是非常重要的负载均衡中间件,被广泛应用于大型...

【Nginx】Nginx 4种常见配置实例(nginx基本配置与参数说明)

本文主要介绍nginx4种常见的配置实例。Nginx实现反向代理;Nginx实现负载均衡;Nginx实现动静分离;Nginx实现高可用集群;Nginx4种常见配置实例如下:一、Nginx反向代理配...

使用nginx+allure管理自动化测试报告

allure在自动化测试中经常用来生成漂亮的报告,但是网上及官网上给出的例子都仅仅是针对单个测试用例文件的形式介绍的,实际使用中,自动化测试往往需要包含不止一个产品或项目,本文介绍如何使用nginx+...

nginx配置文件详解(nginx配置文件详解高清版)

Nginx是一个强大的免费开源的HTTP服务器和反向代理服务器。在Web开发项目中,nginx常用作为静态文件服务器处理静态文件,并负责将动态请求转发至应用服务器(如Django,Flask,et...

SpringCloud Eureka-服务注册与发现

1.Eureka介绍1.1学习Eureka前的说明目前主流的服务注册&发现的组件是Nacos,但是Eureka作为老牌经典的服务注册&发现技术还是有必要学习一下,原因:(1)一些早期的分布式微服...

微服务 Spring Cloud 实战 Eureka+Gateway+Feign+Hystrix

前言我所在项目组刚接到一个微服务改造需求,技术选型为SpringCloud,具体需求是把部分项目使用SpringCloud技术进行重构。本篇文章中介绍了Eureka、Gateway、Fe...

深度剖析 Spring Cloud Eureka 底层实现原理

你作为一名互联网大厂后端技术开发人员,在构建分布式系统时,是不是常常为服务的注册与发现而头疼?你是否好奇,像SpringCloudEureka这样被广泛使用的组件,它的底层实现原理到底是怎样的...

热爱生活,喜欢折腾。(很热爱生活)

原文是stackoverflow的一则高票回答,原文链接可能之前也有人翻译过,但是刚好自己也有疑惑,所以搬运一下,个人水平有限所以可能翻译存在误差,欢迎指正(如侵删)。尽管classmethod和st...

GDB调试的高级技巧(详细描述gdb调试程序的全过程)

GDB是我们平时调试c/c++程序的利器,查起复杂的bug问题,比打印大法要好得多,但是也不得不说,gdb在默认情况下用起来并不是很好用,最近学习到几个高级点的技巧,分享下:一美化打印先上个例子...

Arduino 实例(二十三)Arduino 给Python 编译器发送信息

1首先Python需要安装Pyserial库,在命令提示符中输入pipintallpyserial若是遇到提示‘pip‘不是内部或外部命令,也不是可运行的程序或批处理文件,则需要设置环境变...