minio集群最少需要4个数据目录，推荐使用4台服务器来搭建。

服务器列表

添加hostname和IP的映射

在4台服务器上执行以下命令：

# 追加hosts映射到/etc/hosts文件
cat >> /etc/hosts <<EOF
172.16.0.40 minio-1
172.16.0.41 minio-2
172.16.0.42 minio-3
172.16.0.43 minio-4
EOF

配置服务器之间的免密互登录
在4台服务器上执行以下命令：

# 添加每台服务器的指纹信息到known_hosts，避免服务器之间第一次ssh连接时候的warning确认提示
# 同时添加IP和hostname的指纹信息
ssh-keyscan -H 172.16.0.40 >> ~/.ssh/known_hosts
ssh-keyscan -H minio-1 >> ~/.ssh/known_hosts
ssh-keyscan -H 172.16.0.41 >> ~/.ssh/known_hosts
ssh-keyscan -H minio-2 >> ~/.ssh/known_hosts
ssh-keyscan -H 172.16.0.42 >> ~/.ssh/known_hosts
ssh-keyscan -H minio-2 >> ~/.ssh/known_hosts
ssh-keyscan -H 172.16.0.43 >> ~/.ssh/known_hosts
ssh-keyscan -H minio-3 >> ~/.ssh/known_hosts

# 生成ssh密匙，执行下面命令后一路回车默认配置
ssh-keygen -t rsa

复制ssh公钥

不推荐将某台服务器上生成的id_rsa, id_rsa.pub文件复制到所有的服务器上，这将会降低安全性。

需要将每台服务器的公钥复制到其它需要免密登录的服务器上，例如 minio-1 需要免密登录 minio-1, minio-2, minio-3, minio-4，则需要将 minio-1 服务器上的 ~/.ssh/id_rsa.pub 内容复制到 minio-1（自己）, minio-2, minio-3, minio-4 服务器的 ~/.ssh/authroized_keys 里面 (append复制)。

复制ssh公钥到其它服务器，也可以使用 ssh-copy-id -i id_rsa.pub me@minio-2 这样的命令来复制。

# 当前在 minio-1 服务器上
# 免密登录到自己
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 允许minio-2免密登录到minio-1 (~/.ssh/authorized_keys 是 minio-1 服务器的文件)
ssh me@minio-2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 允许minio-3免密登录到minio-1
ssh me@minio-3 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 允许minio-4免密登录到minio-1
ssh me@minio-4 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将生成的authorized_keys文件复制到剩下的3台服务器上：

# 复制authorized-keys到minio-2
scp ~/.ssh/authorized_keys me@minio-2:~/.ssh/
# 复制authorized-keys到minio-3
scp ~/.ssh/authorized_keys me@minio-3:~/.ssh/
# 复制authorized-keys到minio-4
scp ~/.ssh/authorized_keys me@minio-4:~/.ssh/

修改.ssh文件夹和authorized_keys文件的权限：

# 为了保护authorized_keys文件不被非法篡改，确保文件的属性是只有me用户可读写
# 在4台服务器上执行
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

到此为止，实现了4台服务器之间，用me用户可以免输入密码互相ssh登录。

修改单进程最大可打开的文件句柄数

在4台服务器上执行下面的命令：

# 建议以下两个命令都执行，第一个命令可以在当前session生效，第二个可以保证重启后依然生效
# 临时生效
ulimit -n 65535
# 永久生效，下次重启后依然有效
vim /etc/security/limits.conf
*   soft    nofile  65535
*   hard    nofile  65535

安装minio程序

在所有4台服务器上执行如下操作：

sudo mkdir -p /opt/minio/run
# 当前登录用户的用户名(me)和用户组(me)，注意这个是以后minio启动的用户
sudo chown -R me:me /opt/minio

# 下载minio, mc程序
# minio: minio的主程序
# mc: minio的cli客户端
cd /opt/minio/run
wget http://dl.minio.org.cn/server/minio/release/linux-amd64/minio
wget http://dl.minio.org.cn/client/mc/release/linux-amd64/mc

# 添加可执行权限
chmod +x minio
chmod +x mc

# 创建minio配置文件路径
sudo mkdir -p /etc/minio

# 挂载数据硬盘
# 例如：硬盘挂载路径为 /data

创建启动脚本

在所有4台服务器上执行如下操作：

vim /opt/minio/run/start-minio.sh
# 添加以下内容
#!/bin/bash
export MINIO_ROOT_USER=minio
export MINIO_ROOT_PASSWORD=minio@123

# 同一个节点如果有多个硬盘的话
/opt/minio/run/minio server --console-address ":9001" --config-dir /etc/minio \
	http://minio-1/data \
	http://minio-2/data \
	http://minio-3/data \
	http://minio-4/data 
	
# 添加执行权限
chmod +x /opt/minio/run/start-minio.sh

添加系统启动服务

为了确保minio服务能够在服务器下次启动的以后自动运行，需要给minio服务添加开机自启动。

在所有4台服务器上执行如下操作：

sudo vim /lib/systemd/system/minio.service
# 添加以下内容
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/
DefaultDependencies=no
After=network.target

[Service]
Type=simple
User=me #进程的启动用户
Group=me #进程的启动用户组
WorkingDirectory=/opt/minio/run/
ExecStart=/opt/minio/run/start-minio.sh

Restart=on-failure
RestartSec=30

[Install]
WantedBy=multi-user.target

启动服务自启动：

# 重新加载所有的systemctl管理项配置
sudo systemctl daemon-reload
# 设置minio.service为开机自启动
sudo systemctl enable minio.service

# 启动minio.service
sudo systemctl start minio.service
# 停止minio.service
sudo systemctl stop minio.service
# 查看minio.service的状态
sudo systemctl status minio.service

启动minio服务

# 在所有服务器上执行
sudo systemctl start minio.service

服务运行检验

浏览器打开http://minio-1:9001出现minio的web网站，输入启动脚本里定义的用户名和密码即可登录。

API地址为http://minio-1:9000, http://minio-2:9000 , http://minio-3:9000, http://minio-4:9000，可以通过nginx设置代理使用。

配置minio集群负载代理

简单的办法是使用nginx的upstream指令将请求分别转发给4台服务器，这样既可以实现minio服务的复制均衡，又可以达到高可用的目的。

nginx的配置大概如下：

upstream minio {
    minio-1:9000;
    minio-2:9000;
    minio-3:9000;
    minio-4:9000;
}

...
    proxy_pass http://minio
...

#冬日生活打卡季#