百度360必应搜狗淘宝本站头条
mqtt服务器xftp6mybatiscollectionkeyerrorc#var
当前位置：网站首页 > 热门文章 > 正文

「云原生.大数据」镜像仓库 Harbor 对接 MinIO 对象存储

bigegpt 2024-08-11 14:16 7 浏览

一、前言

Harbor的部署之前使用的存储是NFS，虽然可以使用rsync+inotify做数据同步做解决单点问题，但是NFS效率/性能有限，没有对象存储那么强大，所以一般使用对象存储居多，这里选用MinIO 对象存储软件，当然也可以使用Ceph或者其它对象存储。都部署在k8s 集群上，k8s 基础环境部署可以参考我之前的文章：「云原生」Kubernetes（k8s）最完整版环境部署（V1.24.1）

二、MinIO on K8S 部署

MinIO 的介绍可以参考我这篇文章：高性能分布式对象存储——MinIO（环境部署）

这里使用Helm 部署 MinIO ，关于 Helm 的介绍可以参考官方文档，部署步骤如下：

1）下载安装 MinIO 包

mkdir -p /opt/k8s/bigdata/minio;cd /opt/k8s/bigdata/minio
# 添加数据源
helm repo add bitnami https://charts.bitnami.com/bitnami
# 下载
helm pull bitnami/minio
# 解压部署包
tar -xf minio-11.9.2.tgz

2）修改配置

添加文件minio/templates/storage-class.yaml，内容如下：

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: minio-local-storage
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer

添加 pv 配置 minio/templates/pv.yaml

{{- range .Values.persistence.local }}
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: {{ .name }}
spec:
  capacity:
    storage: {{ .size }}
  accessModes:
  - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: minio-local-storage
  local:
    path: {{ .path }}
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - {{ .host }}
 ---
{{- end }}

修改配置minio/values.yaml

service:
  type: NodePort
  nodePorts:
    api: "30900"
    console: "30901"

# ---
# 这里先部署单节点，后面会详细讲在k8s中部署分布式minio，这里的重点是Harbor对接minio
mode: standalone

# ---
statefulset:
  replicaCount: 4

# ---
persistence
  enabled: true
  storageClass: minio-local-storage
  size: 1Gi
  local:
    - name: minio-pv-0
      size: 1Gi
      path: /opt/k8s/bigdata/minio/data
      host: local-168-182-110

【温馨提示】需要提前在对应的节点上创建对应的目录。

3）开始部署

cd /opt/k8s/bigdata/minio
helm install minio ./minio \
  --namespace=minio \
  --create-namespace

notes

NAME: minio
LAST DEPLOYED: Sun Aug 28 09:13:06 2022
NAMESPACE: minio
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: minio
CHART VERSION: 11.9.2
APP VERSION: 2022.8.22

** Please be patient while the chart is being deployed **

MinIO? can be accessed via port  on the following DNS name from within your cluster:

   minio.minio.svc.cluster.local

To get your credentials run:

   export ROOT_USER=$(kubectl get secret --namespace minio minio -o jsonpath="{.data.root-user}" | base64 -d)
   export ROOT_PASSWORD=$(kubectl get secret --namespace minio minio -o jsonpath="{.data.root-password}" | base64 -d)

To connect to your MinIO? server using a client:

- Run a MinIO? Client pod and append the desired command (e.g. 'admin info'):

   kubectl run --namespace minio minio-client \
     --rm --tty -i --restart='Never' \
     --env MINIO_SERVER_ROOT_USER=$ROOT_USER \
     --env MINIO_SERVER_ROOT_PASSWORD=$ROOT_PASSWORD \
     --env MINIO_SERVER_HOST=minio \
     --image docker.io/bitnami/minio-client:2022.8.11-debian-11-r3 -- admin info minio

To access the MinIO? web UI:

- Get the MinIO? URL:

   export NODE_PORT=$(kubectl get --namespace minio -o jsonpath="{.spec.ports[0].nodePort}" services minio)
   export NODE_IP=$(kubectl get nodes --namespace minio -o jsonpath="{.items[0].status.addresses[0].address}")
   echo "MinIO? web URL: http://$NODE_IP:$NODE_PORT/minio"

查看

kubectl get pods,svc -n minio -owide


webUI 登录
http://local-168-182-110:30901
账号密码：

export ROOT_USER=$(kubectl get secret --namespace minio minio -o jsonpath="{.data.root-user}" | base64 -d)
echo $ROOT_USER
export ROOT_PASSWORD=$(kubectl get secret --namespace minio minio -o jsonpath="{.data.root-password}" | base64 -d)
echo $ROOT_PASSWORD

4）安装 mc 测试

cd /opt/k8s/bigdata/minio
wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
ln -s /opt/k8s/bigdata/minio/mc /usr/bin/mc
mc --help

添加MinIO存储服务

mc config host add minio http://local-168-182-110:30900 admin Kgb4zZT1cU
mc admin info minio
# 并创建bucket harbor
mc mb minio/harbor
mc ls minio

常用命令参数：

ls       列出文件和文件夹。
mb       创建一个存储桶或一个文件夹。
cat      显示文件和对象内容。
pipe     将一个STDIN重定向到一个对象或者文件或者STDOUT。
share    生成用于共享的URL。
cp       拷贝文件和对象。
mirror   给存储桶和文件夹做镜像。
find     基于参数查找文件。
diff     对两个文件夹或者存储桶比较差异。
rm       删除文件和对象。
events   管理对象通知。
watch    监听文件和对象的事件。
policy   管理访问策略。
session  为cp命令管理保存的会话。
config   管理mc配置文件。
update   检查软件更新。
version  输出版本信息。

5）卸载

helm uninstall minio -n minio
kubectl delete ns minio --force

三、Harbor on K8S 部署

1）创建stl证书

mkdir /opt/k8s/bigdata/harbor/stl && cd /opt/k8s/bigdata/harbor/stl
# 生成 CA 证书私钥
openssl genrsa -out ca.key 4096
# 生成 CA 证书
openssl req -x509 -new -nodes -sha512 -days 3650 \
 -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor-minio.com" \
 -key ca.key \
 -out ca.crt
# 创建域名证书，生成私钥
openssl genrsa -out myharbor-minio.com.key 4096
# 生成证书签名请求 CSR
openssl req -sha512 -new \
    -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor-minio.com" \
    -key myharbor-minio.com.key \
    -out myharbor-minio.com.csr
# 生成 x509 v3 扩展
cat > v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names

[alt_names]
DNS.1=myharbor-minio.com
DNS.2=*.myharbor-minio.com
DNS.3=hostname
EOF
#创建 Harbor 访问证书
openssl x509 -req -sha512 -days 3650 \
    -extfile v3.ext \
    -CA ca.crt -CAkey ca.key -CAcreateserial \
    -in myharbor-minio.com.csr \
    -out myharbor-minio.com.crt

2）创建secret

kubectl create ns harbor-minio
kubectl create secret tls myharbor-minio.com --key myharbor-minio.com.key --cert myharbor-minio.com.crt -n harbor-minio
kubectl get secret myharbor-minio.com -n harbor-minio

3）下载 harbor 安装包

cd /opt/k8s/bigdata/harbor
helm repo add harbor https://helm.goharbor.io
helm pull harbor/harbor
tar -xf harbor-1.9.3.tgz

4）配置 minio 存储

persistence:
  enabled: true
  imageChartStorage:
    disableredirect: true
    type: s3
    filesystem:
      rootdirectory: /storage
      #maxthreads: 100
    s3:
      # region描述的是服务器的物理位置，默认是us-east-1(美国东区1),这也是亚马逊S3的默认区域
      region: us-west-1
      bucket: harbor
      # 账号，密码
      accesskey: admin
      secretkey: Kgb4zZT1cU
      # 这里minio.minion是<service-name>.<namespace-name>
      regionendpoint: http://minio.minio:9000
      encrypt: false
      secure: false
      v4auth: true
      chunksize: "5242880"
      rootdirectory: /
      redirect:
        disabled: false
    maintenance:
      uploadpurging:
        enabled: false
    delete:
      enabled: true

6）安装 nfs （harbor 本身服务存储）

harbor本身服务的存储这里使用nfs

1、所有节点安装nfs

yum -y install  nfs-utils rpcbind

2、在master节点创建共享目录并授权

mkdir /opt/nfsdata
# 授权共享目录
chmod 666 /opt/nfsdata

3、配置exports文件

cat > /etc/exports<<EOF
/opt/nfsdata *(rw,no_root_squash,no_all_squash,sync)
EOF
# 配置生效
exportfs -r

4、启动rpc和nfs（客户端只需要启动rpc服务）（注意顺序）

systemctl start rpcbind
systemctl start nfs-server
systemctl enable rpcbind
systemctl enable nfs-server
# 查看
showmount -e
showmount -e 192.168.182.110

5、客户端

# 安装
yum -y install  nfs-utils rpcbind
# 启动rpc服务
systemctl start rpcbind
systemctl enable rpcbind
# 创建挂载目录
mkdir /mnt/nfsdata
# 挂载
echo "192.168.182.110:/opt/nfsdata /mnt/nfsdata     nfs    defaults  0 1">> /etc/fstab
mount -a

6、创建nfs provisioner和持久化存储SC

# 添加数据源
helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/

# 开始安装
helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \
  --namespace=nfs-provisioner \
  --create-namespace \
  --set image.repository=willdockerhub/nfs-subdir-external-provisioner \
  --set image.tag=v4.0.2 \
  --set replicaCount=2 \
  --set storageClass.name=nfs-client \
  --set storageClass.defaultClass=true \
  --set nfs.server=192.168.182.110 \
  --set nfs.path=/opt/nfsdata

# 查看
kubectl get pods,deploy,sc -n nfs-provisioner

7）开始安装

cd /opt/k8s/bigdata/harbor
helm install myharbor-minio --namespace harbor-minio ./harbor \
  --set expose.ingress.hosts.core=myharbor-minio.com \
  --set expose.ingress.hosts.notary=notary.myharbor-minio.com \
  --set-string expose.ingress.annotations.'nginx\.org/client-max-body-size'="1024m" \
  --set persistence.persistentVolumeClaim.registry.storageClass=nfs-client
  --set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client \
  --set persistence.persistentVolumeClaim.database.storageClass=nfs-client \
  --set persistence.persistentVolumeClaim.redis.storageClass=nfs-client \
  --set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client \
  --set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client \
  --set persistence.enabled=true \
  --set expose.tls.secretName=myharbor-minio.com \
  --set externalURL=https://myharbor-minio.com \
  --set harborAdminPassword=Harbor12345

notes

NAME: myharbor
LAST DEPLOYED: Sun Aug 28 11:27:47 2022
NAMESPACE: harbor-minio
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Please wait for several minutes for Harbor deployment to complete.
Then you should be able to visit the Harbor portal at https://myharbor-minio.com
For more details, please visit https://github.com/goharbor/harbor

查看

kubectl get pods,svc,ingress -n  harbor-minio


配置/etc/hosts，如果有域名解析就可忽略

192.168.182.110 myharbor-minio.com
192.168.182.111 myharbor-minio.com
192.168.182.112 myharbor-minio.com

Harbor web：https://myharbor-minio.com


8）Containerd 配置 Harbor

以前使用docker-engine的时候，只需要修改/etc/docker/daemon.json就行，但是新版的k8s已经使用containerd了，所以这里需要做相关配置，要不然containerd会失败。证书（ca.crt）可以在页面上下载：


创建域名目录

mkdir /etc/containerd/myharbor-minio.com
cp ca.crt /etc/containerd/myharbor-minio.com/

配置文件：/etc/containerd/config.toml

[plugins."io.containerd.grpc.v1.cri".registry]
      config_path = ""

      [plugins."io.containerd.grpc.v1.cri".registry.auths]

      [plugins."io.containerd.grpc.v1.cri".registry.configs]
        [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor-minio.com".tls]
          insecure_skip_verify = true  #跳过认证
          ca_file = "/etc/containerd/myharbor-minio.com/ca.crt"
        [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor-minio.com".auth]
          username = "admin"
          password = "Harbor12345"

      [plugins."io.containerd.grpc.v1.cri".registry.headers]

      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."myharbor-minio.com"]
          endpoint = ["https://myharbor-minio.com"]

重启containerd

#重新加载配置
systemctl daemon-reload
#重启containerd
systemctl restart containerd

9）测试验证

# tag
# ctr 有命名空间 namespace 来指定类似于工作空间的隔离区域。使用方法 ctr -n default images ls 来查看 default 命名空间的镜像，不加 -n 参数，默认也是使用default的命名空间。i：images
ctr -n k8s.io i tag docker.io/bitnami/minio:2022.8.22-debian-11-r0 myharbor-minio.com/bigdata/minio:2022.8.22-debian-11-r0

# 推送镜像到harbor
ctr --namespace=k8s.io images push myharbor-minio.com/bigdata/minio:2022.8.22-debian-11-r0 --skip-verify --user admin:Harbor12345

# --namespace=k8s.io 指定命名空间，不是必须，根据环境而定
# --skip-verify 跳过认证
# --user 指定harbor用户名及密码



查看 minio ：http://local-168-182-110:30901/

成查看minio的harbor bucket是否存在docker目录。如果存在说明成。

10）卸载

helm uninstall myharbor-minio -n harbor-minio

镜像仓库 Harbor 对接 MinIO 对象存储就到了，有疑问的小伙伴欢迎留言哦，后续会持续分享云原生和大数据相关的文章，请小伙伴耐心等待哦~

相关推荐

5分钟搭建公网https网页文件服务器，免费权威TLS证书

请关注本头条号，每天坚持更新原创干货技术文章。如需学习视频，请在微信搜索公众号“智传网优”直接开始自助视频学习前言本文主要讲解如何快速搭建一个https网页文件服务器，并免费申请权威机构颁发的tls证...

nginx负载均衡配置（nginx负载均衡配置两个程序副本）

Nginx是什么没有听过Nginx？那么一定听过它的“同行”Apache吧！Nginx同Apache一样都是一种WEB服务器。基于REST架构风格，以统一资源描述符(UniformResources...

19《Nginx 入门教程》Nginx综合实践

今天我们将基于Nginx完成两个比较有用的场景，但是用到的Nginx的配置非常简单。内部Yum源搭建内部Pip源搭建1.实验环境ceph1centos7.6内网ip：172.16....

Nginx性能调优与优化指南（nginx优化配置大全）

Nginx性能调优需要结合服务器硬件资源、业务场景和负载特征进行针对性优化。以下是一些关键优化方向和具体配置示例：一、Nginx配置优化1.进程与连接数优化nginxworker_process...

C++后端开发必须彻底搞懂Nginx，从原理到实战(高级篇)

本文为Nginx实操高级篇。通过配置Nginx配置文件，实现正向代理、反向代理、负载均衡、Nginx缓存、动静分离和高可用Nginx6种功能，并对Nginx的原理作进一步的解析。当需...

【Nginx】史上最全的Nginx配置详解

Nginx服务器配置中最频繁的部分，代理、缓存和日志定义等绝大多数功能和第三方模块的配置都在这里，http块又包括http全局块和server块。Nginx是非常重要的负载均衡中间件，被广泛应用于大型...

【Nginx】Nginx 4种常见配置实例（nginx基本配置与参数说明）

本文主要介绍nginx4种常见的配置实例。Nginx实现反向代理；Nginx实现负载均衡；Nginx实现动静分离；Nginx实现高可用集群；Nginx4种常见配置实例如下：一、Nginx反向代理配...

使用nginx+allure管理自动化测试报告

allure在自动化测试中经常用来生成漂亮的报告，但是网上及官网上给出的例子都仅仅是针对单个测试用例文件的形式介绍的，实际使用中，自动化测试往往需要包含不止一个产品或项目，本文介绍如何使用nginx+...

nginx配置文件详解（nginx配置文件详解高清版）

Nginx是一个强大的免费开源的HTTP服务器和反向代理服务器。在Web开发项目中，nginx常用作为静态文件服务器处理静态文件，并负责将动态请求转发至应用服务器(如Django,Flask,et...

SpringCloud Eureka-服务注册与发现

1.Eureka介绍1.1学习Eureka前的说明目前主流的服务注册&发现的组件是Nacos，但是Eureka作为老牌经典的服务注册&发现技术还是有必要学习一下，原因：（1）一些早期的分布式微服...

微服务 Spring Cloud 实战 Eureka+Gateway+Feign+Hystrix

前言我所在项目组刚接到一个微服务改造需求，技术选型为SpringCloud，具体需求是把部分项目使用SpringCloud技术进行重构。本篇文章中介绍了Eureka、Gateway、Fe...

深度剖析 Spring Cloud Eureka 底层实现原理

你作为一名互联网大厂后端技术开发人员，在构建分布式系统时，是不是常常为服务的注册与发现而头疼？你是否好奇，像SpringCloudEureka这样被广泛使用的组件，它的底层实现原理到底是怎样的...

热爱生活，喜欢折腾。（很热爱生活）

原文是stackoverflow的一则高票回答，原文链接可能之前也有人翻译过，但是刚好自己也有疑惑，所以搬运一下，个人水平有限所以可能翻译存在误差，欢迎指正（如侵删）。尽管classmethod和st...

GDB调试的高级技巧（详细描述gdb调试程序的全过程）

GDB是我们平时调试c/c++程序的利器,查起复杂的bug问题,比打印大法要好得多,但是也不得不说,gdb在默认情况下用起来并不是很好用,最近学习到几个高级点的技巧,分享下:一美化打印先上个例子...

Arduino 实例(二十三)Arduino 给Python 编译器发送信息

1首先Python需要安装Pyserial库,在命令提示符中输入pipintallpyserial若是遇到提示‘pip‘不是内部或外部命令，也不是可运行的程序或批处理文件，则需要设置环境变...

一周热门
最近发表
标签列表