百度360必应搜狗淘宝本站头条
mqtt服务器xftp6vscode使用技巧mybatiscollectionkeyerror
当前位置：网站首页 > 热门文章 > 正文

「云原生.大数据」镜像仓库 Harbor 对接 MinIO 对象存储

bigegpt 2024-08-11 14:16 12 浏览

一、前言

Harbor的部署之前使用的存储是NFS，虽然可以使用rsync+inotify做数据同步做解决单点问题，但是NFS效率/性能有限，没有对象存储那么强大，所以一般使用对象存储居多，这里选用MinIO 对象存储软件，当然也可以使用Ceph或者其它对象存储。都部署在k8s 集群上，k8s 基础环境部署可以参考我之前的文章：「云原生」Kubernetes（k8s）最完整版环境部署（V1.24.1）

二、MinIO on K8S 部署

MinIO 的介绍可以参考我这篇文章：高性能分布式对象存储——MinIO（环境部署）

这里使用Helm 部署 MinIO ，关于 Helm 的介绍可以参考官方文档，部署步骤如下：

1）下载安装 MinIO 包

mkdir -p /opt/k8s/bigdata/minio;cd /opt/k8s/bigdata/minio
# 添加数据源
helm repo add bitnami https://charts.bitnami.com/bitnami
# 下载
helm pull bitnami/minio
# 解压部署包
tar -xf minio-11.9.2.tgz

2）修改配置

添加文件minio/templates/storage-class.yaml，内容如下：

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: minio-local-storage
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer

添加 pv 配置 minio/templates/pv.yaml

{{- range .Values.persistence.local }}
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: {{ .name }}
spec:
  capacity:
    storage: {{ .size }}
  accessModes:
  - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: minio-local-storage
  local:
    path: {{ .path }}
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - {{ .host }}
 ---
{{- end }}

修改配置minio/values.yaml

service:
  type: NodePort
  nodePorts:
    api: "30900"
    console: "30901"

# ---
# 这里先部署单节点，后面会详细讲在k8s中部署分布式minio，这里的重点是Harbor对接minio
mode: standalone

# ---
statefulset:
  replicaCount: 4

# ---
persistence
  enabled: true
  storageClass: minio-local-storage
  size: 1Gi
  local:
    - name: minio-pv-0
      size: 1Gi
      path: /opt/k8s/bigdata/minio/data
      host: local-168-182-110

【温馨提示】需要提前在对应的节点上创建对应的目录。

3）开始部署

cd /opt/k8s/bigdata/minio
helm install minio ./minio \
  --namespace=minio \
  --create-namespace

notes

NAME: minio
LAST DEPLOYED: Sun Aug 28 09:13:06 2022
NAMESPACE: minio
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: minio
CHART VERSION: 11.9.2
APP VERSION: 2022.8.22

** Please be patient while the chart is being deployed **

MinIO? can be accessed via port  on the following DNS name from within your cluster:

   minio.minio.svc.cluster.local

To get your credentials run:

   export ROOT_USER=$(kubectl get secret --namespace minio minio -o jsonpath="{.data.root-user}" | base64 -d)
   export ROOT_PASSWORD=$(kubectl get secret --namespace minio minio -o jsonpath="{.data.root-password}" | base64 -d)

To connect to your MinIO? server using a client:

- Run a MinIO? Client pod and append the desired command (e.g. 'admin info'):

   kubectl run --namespace minio minio-client \
     --rm --tty -i --restart='Never' \
     --env MINIO_SERVER_ROOT_USER=$ROOT_USER \
     --env MINIO_SERVER_ROOT_PASSWORD=$ROOT_PASSWORD \
     --env MINIO_SERVER_HOST=minio \
     --image docker.io/bitnami/minio-client:2022.8.11-debian-11-r3 -- admin info minio

To access the MinIO? web UI:

- Get the MinIO? URL:

   export NODE_PORT=$(kubectl get --namespace minio -o jsonpath="{.spec.ports[0].nodePort}" services minio)
   export NODE_IP=$(kubectl get nodes --namespace minio -o jsonpath="{.items[0].status.addresses[0].address}")
   echo "MinIO? web URL: http://$NODE_IP:$NODE_PORT/minio"

查看

kubectl get pods,svc -n minio -owide


webUI 登录
http://local-168-182-110:30901
账号密码：

export ROOT_USER=$(kubectl get secret --namespace minio minio -o jsonpath="{.data.root-user}" | base64 -d)
echo $ROOT_USER
export ROOT_PASSWORD=$(kubectl get secret --namespace minio minio -o jsonpath="{.data.root-password}" | base64 -d)
echo $ROOT_PASSWORD

4）安装 mc 测试

cd /opt/k8s/bigdata/minio
wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
ln -s /opt/k8s/bigdata/minio/mc /usr/bin/mc
mc --help

添加MinIO存储服务

mc config host add minio http://local-168-182-110:30900 admin Kgb4zZT1cU
mc admin info minio
# 并创建bucket harbor
mc mb minio/harbor
mc ls minio

常用命令参数：

ls       列出文件和文件夹。
mb       创建一个存储桶或一个文件夹。
cat      显示文件和对象内容。
pipe     将一个STDIN重定向到一个对象或者文件或者STDOUT。
share    生成用于共享的URL。
cp       拷贝文件和对象。
mirror   给存储桶和文件夹做镜像。
find     基于参数查找文件。
diff     对两个文件夹或者存储桶比较差异。
rm       删除文件和对象。
events   管理对象通知。
watch    监听文件和对象的事件。
policy   管理访问策略。
session  为cp命令管理保存的会话。
config   管理mc配置文件。
update   检查软件更新。
version  输出版本信息。

5）卸载

helm uninstall minio -n minio
kubectl delete ns minio --force

三、Harbor on K8S 部署

1）创建stl证书

mkdir /opt/k8s/bigdata/harbor/stl && cd /opt/k8s/bigdata/harbor/stl
# 生成 CA 证书私钥
openssl genrsa -out ca.key 4096
# 生成 CA 证书
openssl req -x509 -new -nodes -sha512 -days 3650 \
 -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor-minio.com" \
 -key ca.key \
 -out ca.crt
# 创建域名证书，生成私钥
openssl genrsa -out myharbor-minio.com.key 4096
# 生成证书签名请求 CSR
openssl req -sha512 -new \
    -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor-minio.com" \
    -key myharbor-minio.com.key \
    -out myharbor-minio.com.csr
# 生成 x509 v3 扩展
cat > v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names

[alt_names]
DNS.1=myharbor-minio.com
DNS.2=*.myharbor-minio.com
DNS.3=hostname
EOF
#创建 Harbor 访问证书
openssl x509 -req -sha512 -days 3650 \
    -extfile v3.ext \
    -CA ca.crt -CAkey ca.key -CAcreateserial \
    -in myharbor-minio.com.csr \
    -out myharbor-minio.com.crt

2）创建secret

kubectl create ns harbor-minio
kubectl create secret tls myharbor-minio.com --key myharbor-minio.com.key --cert myharbor-minio.com.crt -n harbor-minio
kubectl get secret myharbor-minio.com -n harbor-minio

3）下载 harbor 安装包

cd /opt/k8s/bigdata/harbor
helm repo add harbor https://helm.goharbor.io
helm pull harbor/harbor
tar -xf harbor-1.9.3.tgz

4）配置 minio 存储

persistence:
  enabled: true
  imageChartStorage:
    disableredirect: true
    type: s3
    filesystem:
      rootdirectory: /storage
      #maxthreads: 100
    s3:
      # region描述的是服务器的物理位置，默认是us-east-1(美国东区1),这也是亚马逊S3的默认区域
      region: us-west-1
      bucket: harbor
      # 账号，密码
      accesskey: admin
      secretkey: Kgb4zZT1cU
      # 这里minio.minion是<service-name>.<namespace-name>
      regionendpoint: http://minio.minio:9000
      encrypt: false
      secure: false
      v4auth: true
      chunksize: "5242880"
      rootdirectory: /
      redirect:
        disabled: false
    maintenance:
      uploadpurging:
        enabled: false
    delete:
      enabled: true

6）安装 nfs （harbor 本身服务存储）

harbor本身服务的存储这里使用nfs

1、所有节点安装nfs

yum -y install  nfs-utils rpcbind

2、在master节点创建共享目录并授权

mkdir /opt/nfsdata
# 授权共享目录
chmod 666 /opt/nfsdata

3、配置exports文件

cat > /etc/exports<<EOF
/opt/nfsdata *(rw,no_root_squash,no_all_squash,sync)
EOF
# 配置生效
exportfs -r

4、启动rpc和nfs（客户端只需要启动rpc服务）（注意顺序）

systemctl start rpcbind
systemctl start nfs-server
systemctl enable rpcbind
systemctl enable nfs-server
# 查看
showmount -e
showmount -e 192.168.182.110

5、客户端

# 安装
yum -y install  nfs-utils rpcbind
# 启动rpc服务
systemctl start rpcbind
systemctl enable rpcbind
# 创建挂载目录
mkdir /mnt/nfsdata
# 挂载
echo "192.168.182.110:/opt/nfsdata /mnt/nfsdata     nfs    defaults  0 1">> /etc/fstab
mount -a

6、创建nfs provisioner和持久化存储SC

# 添加数据源
helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/

# 开始安装
helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \
  --namespace=nfs-provisioner \
  --create-namespace \
  --set image.repository=willdockerhub/nfs-subdir-external-provisioner \
  --set image.tag=v4.0.2 \
  --set replicaCount=2 \
  --set storageClass.name=nfs-client \
  --set storageClass.defaultClass=true \
  --set nfs.server=192.168.182.110 \
  --set nfs.path=/opt/nfsdata

# 查看
kubectl get pods,deploy,sc -n nfs-provisioner

7）开始安装

cd /opt/k8s/bigdata/harbor
helm install myharbor-minio --namespace harbor-minio ./harbor \
  --set expose.ingress.hosts.core=myharbor-minio.com \
  --set expose.ingress.hosts.notary=notary.myharbor-minio.com \
  --set-string expose.ingress.annotations.'nginx\.org/client-max-body-size'="1024m" \
  --set persistence.persistentVolumeClaim.registry.storageClass=nfs-client
  --set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client \
  --set persistence.persistentVolumeClaim.database.storageClass=nfs-client \
  --set persistence.persistentVolumeClaim.redis.storageClass=nfs-client \
  --set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client \
  --set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client \
  --set persistence.enabled=true \
  --set expose.tls.secretName=myharbor-minio.com \
  --set externalURL=https://myharbor-minio.com \
  --set harborAdminPassword=Harbor12345

notes

NAME: myharbor
LAST DEPLOYED: Sun Aug 28 11:27:47 2022
NAMESPACE: harbor-minio
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Please wait for several minutes for Harbor deployment to complete.
Then you should be able to visit the Harbor portal at https://myharbor-minio.com
For more details, please visit https://github.com/goharbor/harbor

查看

kubectl get pods,svc,ingress -n  harbor-minio


配置/etc/hosts，如果有域名解析就可忽略

192.168.182.110 myharbor-minio.com
192.168.182.111 myharbor-minio.com
192.168.182.112 myharbor-minio.com

Harbor web：https://myharbor-minio.com


8）Containerd 配置 Harbor

以前使用docker-engine的时候，只需要修改/etc/docker/daemon.json就行，但是新版的k8s已经使用containerd了，所以这里需要做相关配置，要不然containerd会失败。证书（ca.crt）可以在页面上下载：


创建域名目录

mkdir /etc/containerd/myharbor-minio.com
cp ca.crt /etc/containerd/myharbor-minio.com/

配置文件：/etc/containerd/config.toml

[plugins."io.containerd.grpc.v1.cri".registry]
      config_path = ""

      [plugins."io.containerd.grpc.v1.cri".registry.auths]

      [plugins."io.containerd.grpc.v1.cri".registry.configs]
        [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor-minio.com".tls]
          insecure_skip_verify = true  #跳过认证
          ca_file = "/etc/containerd/myharbor-minio.com/ca.crt"
        [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor-minio.com".auth]
          username = "admin"
          password = "Harbor12345"

      [plugins."io.containerd.grpc.v1.cri".registry.headers]

      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."myharbor-minio.com"]
          endpoint = ["https://myharbor-minio.com"]

重启containerd

#重新加载配置
systemctl daemon-reload
#重启containerd
systemctl restart containerd

9）测试验证

# tag
# ctr 有命名空间 namespace 来指定类似于工作空间的隔离区域。使用方法 ctr -n default images ls 来查看 default 命名空间的镜像，不加 -n 参数，默认也是使用default的命名空间。i：images
ctr -n k8s.io i tag docker.io/bitnami/minio:2022.8.22-debian-11-r0 myharbor-minio.com/bigdata/minio:2022.8.22-debian-11-r0

# 推送镜像到harbor
ctr --namespace=k8s.io images push myharbor-minio.com/bigdata/minio:2022.8.22-debian-11-r0 --skip-verify --user admin:Harbor12345

# --namespace=k8s.io 指定命名空间，不是必须，根据环境而定
# --skip-verify 跳过认证
# --user 指定harbor用户名及密码



查看 minio ：http://local-168-182-110:30901/

成查看minio的harbor bucket是否存在docker目录。如果存在说明成。

10）卸载

helm uninstall myharbor-minio -n harbor-minio

镜像仓库 Harbor 对接 MinIO 对象存储就到了，有疑问的小伙伴欢迎留言哦，后续会持续分享云原生和大数据相关的文章，请小伙伴耐心等待哦~

相关推荐

5分钟调色大片的方法（5分钟调色大片的方法有哪些）

哈喽大家好。在大家印象中一定觉得ps非常难学非常难。大家不要着急，小编的教学都是针对ps零基础的同学的，而且非常实用哦。只要大家跟着图文练习一两遍，保证大家立马学会~！好了，废话少说，下面开始我们今天...

闪白特效原来是这么用的（闪白特效怎么使用）

作者|高艳侠订阅|010-86092062闪白特效是影视作品中应用比较多的效果之一，那么具体该在哪些场景使用闪白特效？具体该如何操作？下面就以AdobePremiere（以下简称PR）为例，...

ppt常用小图标去哪里找?3个矢量素材网站推荐!

ppt是一个注重可视化表达的演示载体，除了高清图片，ppt中另一类常用的素材是各种小图标，也叫矢量图标，巧妙运用小图标能提升整体美观度和表现力，那么ppt常用小图标去哪里找呢？为方便各位快速找到合适的...

有什么好用的截图录屏工具?试试这9款

经常有朋友反馈苦于缺乏截屏和录屏的趁手工具，本期我们分享几个相当好用的截屏和录屏工具，希望能帮到大家。ScreenToGifScreenToGif是一款免费且开源的录屏工具。此款工具最大的特点是可以...

配色苦手福音!专业快速色环配色PS插件

今天橘子老师给的大家介绍的是一款快速配色的插件，非常强大配色苦手福音来啦！（获取方式见文末）【插件介绍】配色在后期设计中占有主导地位，好的配色能让作品更加抢眼Coolorus这款专业的配色插件，能够...

如何用PS抠主体?（ps怎么抠主体）

1.主体法抠图-抠花苞和花梗导入一张荷花苞的照片，点击上图中顶部“选择”菜单栏，下拉单击“主体”。可以看到，只有花苞被选中，但是花梗并没有被选中。接下来单击上图中左侧工具栏的“快速选择工具”，上图中顶...

2799元的4K电视，有保障吗?（买4k电视机哪个品牌好）

在上一期《电脑报》的3·15专题报道中，我们揭露了一款不靠谱的42英寸4K智能电视——TCLD42A561U。这款售价2699元的4K智能电视不仅4K画质方面存在严重问题，而且各种功能和应用体验也不理...

苹果电脑的Touch Bar推出一段时间了 这款工具可以帮你开发适用于它的APP

距离苹果推出带有TouchBar的MacBookPro已经有一段时间了，除了那些像Adobe、Google和Microsoft大公司在开发适用于TouchBar的应用之外，其实还有很多独立的开...

如魔法般吸取颜色的桌灯（如魔法般吸取颜色的桌灯叫什么）

色彩为生活带来的感官刺激，逐渐被视为理所当然。一盏桌灯运用它的神奇力量，将隐藏于物件中的颜色逐一释放，成为装点环境的空间魔法师。ColorUp是一款可以改变颜色的吸色台灯，沿用传统灯泡的造型，融入了拾...

一篇文章带你用jquery mobile设计颜色拾取器

【一、项目背景】现实生活中，我们经常会遇到配色的问题，这个时候去百度一下RGB表。而RGB表只提供相对于的颜色的RGB值而没有可以验证的模块。我们可以通过jquerymobile去设计颜色的拾取器...

ps拾色器快捷键是什么?（ps2019拾色器快捷键）

ps拾色器快捷键是什么?文章末尾有获取方式，按照以下步骤就能自动获得！学会制作PS特效需要一定程度的耐心和毅力。初学者可以从基本的工具和技术开始学习，逐渐提高他们的技能水平。同时，观看更多优秀的特效作...

免费开源的 Windows 截图录屏工具，支持 OCR 识别和滚动截图等

功能很强大、安装很小巧的免费截图、录屏工具，提供很多使用的工具来帮我么能解决问题，推荐给大家。关于ShareXShareX是一款免费的windows工具，起初是一个小巧的截图工具，经过多年的迭...

入门到精通系列PS教程:第13篇 · 拾色器、颜色问题说明及补充

入门到精通系列PS教程：第13篇·拾色器、颜色问题说明及补充作者|侯潇问题说明我的第12篇教程里，有个小问题没有说清楚。要说是错误，又不算是错误，只是没有说准确。写完那篇教程后，因为已经到了深...

PS冷知识:用吸管工具吸取屏幕上的任意颜色

今天，我们给大家介绍PS中的一个冷知识：用吸管工具可以吸取屏幕上的任意颜色。其实，操作起来是非常简单的。大多数情况下，我们认为，PS的吸管工具只能吸取PS软件作图区域范围内的颜色，最多加上画布四周的...

Windows 11 将提供内置颜色选择器工具

Windows11内置了颜色选择器，可以扫描并识别屏幕上的颜色并生成颜色代码。此外，微软还利用人工智能技术，让屏幕上的文本扫描和选择变得更加便捷。这两项功能均已在SnippingToolv1...

一周热门
最近发表
标签列表