百度360必应搜狗淘宝本站头条
mqtt服务器xftp6mybatiscollectionkeyerrorc#var
当前位置：网站首页 > 热门文章 > 正文

分布式系统搭建实战(下)

bigegpt 2024-08-10 12:05 6 浏览

一、部署前准备 1.1 部署文件清单 1.2 部署架构图 1.3 服务器资源准备、检查及预装 二、消息队列 ActiveMQ 部署及策略 2.1 ActiveMQ 单点部署 2.2 ActiveMQ 集群部署 三、自动构建 DevOps 部署 3.1 Jenkins 部署 3.2 Gradle 部署 3.3 Sonar 部署 3.3.1 安装 sonar-scanner 3.3.2 安装 SonarQube 四、配置中心（Apollo）部署 4.1 安装 Apollo 五、MySQL 数据库部署

分布式系统技术栈用到了很多开源免费的中间件，例如 Keepalived、Lvs、Nginx、MongoDB、Redis、ZooKeeper、ActiveMQ、MyCat、Jenkins、Gradle、Sonar、Apollo、InfluxDB、Telegraf 等，那么如何部署这些中间件？我们应该采用怎样的部署策略？

分布式系统搭建就是搭建分布式系统的基础设施，也是开发、测试、运维人员的必修课，这是分系统系统搭建实战：下篇。

一、部署前准备

1.1 部署文件清单

在开始着手部署前，我们需要先明确部署类别，规划并准备好部署文件以及版本号等，把这些先列一个清单出来。

序号类别文件版本号1Java 库jdk-8u65-linux-x64.rpm1.82ActiveMQapache-activemq-5.13.0-bin.tar.gz5.133Jenkinsjenkins-awesome.tar2.114Gradlegradle-4.10-bin.zip4.105Sonar-Scannersonar-scanner-cli-3.0.3.778-linux.zip3.0.36SonarQubesonarqube-6.4.zip6,47Apolloapollo-assembly.zip1.38MySQLmysql_el6.zip5.6

1.2 部署架构图



1.3 服务器资源准备、检查及预装

按照微服务设计规划预估所需服务器数量，这里以 Linux 虚拟机为例，从物理机分配资源。

拿到服务器资源后，我们也首先列出服务器资源清单，包含主机名、IP 地址、CPU、内存、磁盘、IO、网络等配置，初步判断一下是否满足需求。然后再依次进行以下操作。

1. 服务器连接检查

使用 SecureCRT 或者 XShell 连接 Linux 虚拟机，检查是否能连通，需要注意的是在开发和测试环境可以用 root，要上生产环境时一定要用其它用户，把权限细分。然后检查防火墙，ZooKeeper、Dubbo、Redis、ActiveMQ、业务服务等所用到的端口，必须开放。

查看防火墙状态命令：

firewall-cmd --list-all

关掉防火墙命令：

systemctl stop firewalld.service systemctl disable firewalld.service

再检查一下操作系统内核版本，这一步很关键，有些软件对操作系统版本是有要求的。

uname -a

硬盘信息：

df -Th

内存用率：

free -m

2. 预装依赖软件 JDK

查看 Linux 上 open JDK 的安装：

rpm -qa|grep java

卸载 Open JDK：

rpm -e --nodeps 上一步骤列出的open jdk的rpm名称

安装 JDK：

rpm -ivh jdk-8u65-linux-x64.rpm

安装过程中按 y 确认安装即可。

修改 etc/profile，增加 JDK 环境变量：

export JAVA_HOME=/usr/java/jdk1.8.0_65（jdk路径）
export PATH=$ JAVA_HOME/bin:$ PATH export   
CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

启用环境变量：

source /etc/profile

测试 JDK 是否安装成功：

java -version

3. 设置主机映射关系

vi /etc/hosts

4. 设置 Linux 默认的最大文件描述符

在 /etc/rc.local 加入：

ulimit -SHn 100000

在 /etc/security/limits.conf 加入：

* hard nofile 100000 * soft nofile 100000

二、消息队列 ActiveMQ 部署及策略

2.1 ActiveMQ 单点部署

1. 将 ActiveMQ 压缩包（apache-activemq-5.13.0-bin.tar.gz）解压到本地目录下，并使用 SFTP 软件上传导服务器目录（例如：/apache-activemq-5.13.0）。

2. 修改 ActiveMQ 文件属性，使脚本可以执行：

cd /apache-activemq-5.13.0
chmod 777 -R *.*

3. 启动 ActiveMQ：

cd /apache-activemq-5.13.0
nohup bin/activemq start &

4. 检测 ActiveMQ 是否安装成功

检测 ActiveMQ 端口 61616 是否监听：

netstat -an | grep 61616

浏览器验证 ActiveMQ 管理服务是否启动，在一台能访问 ActiveMQ 服务器的机器上的浏览器地址输入 http://<activemq服务器ip>:8161/admin/，如下图所示表示安装成功。



2.2 ActiveMQ 集群部署

1. 集群规划



  • mq11、mq12、mq13 组成一个高可用集群 cluster1
  • mq21、mq22、mq23 组成一个高可用集群 cluster2
  • cluster1、cluster2 进行负载组成集群 mqcluster

2. 部署 ZooKeeper 集群

参照《分布式系统搭建实战（上）》的 ZooKeeper 部署。

3. 高可用集群配置

修改 conf/activemq.xml：

<broker xmlns="http://activemq.apache.org/schema/core" brokerName="cluster1"        dataDirectory="${activemq.data}">
<persistenceAdapter>
<replicatedLevelDB
directory="${activemq.data}/leveldb"
replicas="3"
bind="tcp://0.0.0.0:0"
zkAddress="ip1:2181,ip2:2181,ip3:2181"
hostname="ip1"
sync="local_disk"
zkPath="/activemq/leveldb-stores/cluster1"/>
</persistenceAdapter>
<transportConnectors>
<transportConnector name="openwire" uri="tcp://0.0.0.0:61616?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
<transportConnector name="amqp" uri="amqp://0.0.0.0:5672?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
<transportConnector name="stomp" uri="stomp://0.0.0.0:61613?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
<transportConnector name="mqtt" uri="mqtt://0.0.0.0:1883?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
<transportConnector name="ws" uri="ws://0.0.0.0:61614?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>
</broker>

修改 conf/jetty.xml：

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
<property name="host" value="0.0.0.0"/>
<property name="port" value="8161"/>
</bean>

4. 集群配置

cluster1 集群的每个节点的 activemq.xml 中添加一下配置（在 persistenceAdapter 标签前配置）：

<networkConnectors>
<networkConnector uri="static:(tcp://ip1:61626,tcp://ip2:61626,tcp://ip3:61626)" duplex="true"/>
</networkConnectors>

cluster2 集群的每个节点的 activemq.xml 中添加一下配置（在 persistenceAdapter 标签前配置）：

<networkConnectors>
<networkConnector uri="static:(tcp://ip1:61616,tcp://ip2:61616,tcp://ip3:61616)" duplex="true"/>
</networkConnectors>

5. 启动 ActiveMQ

在每个 ActiveMQ 的 bin 目录下执行：

nohup ./activemq start &

6. 程序中配置

将 properties 中 component.amqUrl 配置为：

component.amqUrl = failover:(tcp://ip1:61616,tcp://ip1:61626,tcp://ip2:61616,tcp://ip2:61626,tcp://ip3:61616,tcp://ip3:61626)

7. 测命令

netstat -tulnp |grep java
netstat -an|grep 61616

三、自动构建 DevOps 部署

DevOps这里仅介绍其中的 Jenkins 和 Sonar 部署。

其流程图如下：



3.1 Jenkins 部署

1. 解压文件



cd jenkins-awesome

在 jenkins-awesome 目录下创建 OAS 目录：

mkdir OAS

2. 启动 Jenkins

./jenkins.sh



3. 测试是否安装成功

http://ip:8008/        //能打开页面表示成功

4. 配置 Jenkins

http://ip:8008/configure

修改 Jenkins Location 地址为访问 Jenkins 的服务器 IP 地址，点击保存按钮保存配置。

3.2 Gradle 部署

1. 安装软件



2. 配置环境变量

vim /etc/profile
export GRADLE_HOME=/OAS/gradle-4.10.3
export PATH=$PATH:$GRADLE_HOME/bin
source /etc/profile

3.3 Sonar 部署

3.3.1 安装 sonar-scanner

1. 安装软件



2. 修改名字

sonar-scanner-cli-3.0.3.778-linux 修改为 sonar_scanner_3.0.3。

3. 修改配置文件

cd /OAS/sonar_scanner_3.0.3/conf
vi sonar-scanner.properties

#----- Default SonarQube server
sonar.host.url=http://ip:9000 //sonarqube的访问url
#----- Default source code encoding
#sonar.sourceEncoding=UTF-8

4. 设置环境变量

vi /etc/profile

添加下面两句代码，保存：

export SONAR_SCANNER_HOME=/OAS/sonar_scanner_3.0.3
export PATH=$PATH:$SONAR_SCANNER_HOME/bin
source /etc/profile

5. 检查配置

sonar-scanner -v



3.3.2 安装 SonarQube

1. 创建数据库

在 MySQL 数据库中新建一个数据库，数据库名为 sonar。下面 JDBC 配置上数据库名要对应上。

2. 解压 SonarQube 压缩包



3. 修改 / OAS/sonarqube-6.4/conf/sonar.properties 配置文件（关键参数配置）：

sonar.jdbc.username=mysqladmin //数据库用户名
sonar.jdbc.password=123456 //数据库密码

#----- MySQL 5.6 or greater
sonar.jdbc.url=jdbc:mysql://ip:3306/sonar?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true&useConfigs=maxPerformance&useSSL=false

#----- Connection pool settings
#sonar.jdbc.maxActive=60
#sonar.jdbc.maxIdle=5
#sonar.jdbc.minIdle=2
#sonar.jdbc.maxWait=5000
#sonar.jdbc.minEvictableIdleTimeMillis=600000
#sonar.jdbc.timeBetweenEvictionRunsMillis=30000

# WEB SERVER
sonar.web.javaOpts=-Xmx2048m -Xms1024m -XX:+HeapDumpOnOutOfMemoryError
sonar.web.host=ip      //服务器IP地址
sonar.web.context=       //SonarQube访问url中端口后的部分
sonar.web.port=9000         //端口号

#sonar.web.http.maxThreads=50
#sonar.web.http.minThreads=5
# The default value is 25.
#sonar.web.http.acceptCount=25
#sonar.auth.jwtBase64Hs256Secret=
#sonar.web.sessionTimeoutInMinutes=4320

# SSO AUTHENTICATION
#sonar.web.sso.enable=false
#sonar.web.sso.loginHeader=X-Forwarded-Login
#sonar.web.sso.nameHeader=X-Forwarded-Name
#sonar.web.sso.emailHeader=X-Forwarded-Email
#sonar.web.sso.groupsHeader=X-Forwarded-Groups
#sonar.web.sso.refreshIntervalInMinutes=5

# COMPUTE ENGINE
sonar.ce.javaOpts=-Xmx2048m -Xms1024m -XX:+HeapDumpOnOutOfMemoryError
#sonar.ce.javaAdditionalOpts=
#sonar.ce.workerCount=1

# ELASTICSEARCH
#sonar.search.javaOpts=-Xmx1G -Xms256m -Xss256k -Djna.nosys=true \
# -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 \
# -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError
#sonar.search.javaAdditionalOpts=
#sonar.search.port=9001
#sonar.search.host=

# UPDATE CENTER
#sonar.updatecenter.activate=true
#http.proxyHost=
#http.proxyPort=
#https.proxyHost=
#https.proxyPort=
#http.auth.ntlm.domain=
#socksProxyHost=
#socksProxyPort=
#http.proxyUser=
#http.proxyPassword=

# LOGGING
# individually (eg. if sonar.log.maxFiles=4, there can be at most 4 of each files, ie. 16 files in total).
# 2016.11.16 16:47:00 INFO ce[AVht0dNXFcyiYejytc3m][o.s.s.c.t.CeWorkerCallableImpl] Executed task | project=org.sonarqube:example-java-maven | type=REPORT | id=AVht0dNXFcyiYejytc3m | submitter=admin | time=1699ms
# Some logs, however, will follow the convention to provide data in payload in the format " | key=value"
# Especially, log of profiled pieces of code will end with " | time=XXXXms".
#sonar.log.level=INFO
#sonar.log.level.app=INFO
#sonar.log.level.web=INFO
#sonar.log.level.ce=INFO
#sonar.log.level.es=INFO
#sonar.path.logs=logs
#sonar.log.rollingPolicy=time:yyyy-MM-dd
#sonar.log.maxFiles=7
#sonar.web.accessLogs.enable=true
# Format of access log. It is ignored if sonar.web.accessLogs.enable=false
#sonar.web.accessLogs.pattern=%i{X-Forwarded-For} %l %u [%t] "%r" %s %b "%i{Referer}" "%i{User-Agent}" "%reqAttribute{ID}"
#sonar.web.accessLogs.pattern=%h %l %u [%t] "%r" %s %b "%i{Referer}" "%i{User-Agent}" "%reqAttribute{ID}"

# OTHERS
#sonar.notifications.delay=60
#sonar.path.data=data
#sonar.path.temp=temp

# DEVELOPMENT - only for developers
#sonar.web.dev=false
# http://lmenezes.com/elasticsearch-kopf/?location=http://localhost:9010
#sonar.search.httpPort=-1

4. 启动服务

cd /OAS/sonarqube-6.4/bin/linux-x86-64
./sonar.sh start  //启动
./sonar.sh stop  //停止
./sonar.sh restart   //重启

5. 访问 Sonarqube

  • Web 地址：http://ip:9000
  • 管理员账号和密码：admin/admin

进程示例：



四、配置中心（Apollo）部署

4.1 安装 Apollo

1. 上传 apollo-assembly.zip 文件到 Linux，解压三个文件到各自目录下

unzip apollo-assembly.zip -d apollo-assembly
chmod 755 apollo-assembly/*

2. 初始化数据库脚本

  • 用拥有创库权限的用户登录 MySQL
  • 创建 ApolloConfigDB 数据库
  • 执行 apolloconfigdb.sql
  • 创建 ApolloPortalDB
  • 执行 apolloportaldb.sql

3. 修改数据库初始化配置，编辑 startup.sh 文件

db_url=jdbc:mysql://ip:3306/ApolloConfigDB?characterEncoding=utf8
db_username=mysqladmin
db_password=123456
printf start... configservice configservice
java -Dapollo_profile=dev -Dspring.datasource.url=$db_url -Dspring.datasource.username=$db_username -Dspring.datasource.password=$db_password -jar apollo-assembly.jar --configservice --adminservice &
db_portal_url=jdbc:mysql://ip:3306/ApolloPortalDB?characterEncoding=utf8
db_portal_username=mysqladmin
db_portal_password=123456
portal_login_username=xtadmin
portal_login_password=1
printf after 1 min start portal
sleep 60
printf start... portal
java -Dapollo_profile=dev -Ddev_meta=http://localhost:8080/ -Dserver.port=8070 -Dspring.datasource.url=$db_portal_url -Dspring.datasource.username=$db_portal_username -Dspring.datasource.password=$db_portal_password -jar apollo-assembly.jar --portal &

4. 启动配置中心服务

进入 apollo-assembly 目录下，执行 startup.sh：

./startup.sh

进入配置中心主页 http://ip:8070。

五、MySQL 数据库部署

安装 MySQL

mkdir -p /apps/

上传 mysql.zip 到 /apps，解压：

unzip mysql.zip
mkdir -p /apps/tmp/
mkdir -p /apps/dbdat/percona5.6_data3306

文件说明

  • 日志文件：/apps/logs
  • 数据文件：/apps/dbdat/percona5.6_data3306
  • 数据库程序：/apps/svr/Percona-Server-5.6.20-rel68.0-656.Linux.x86_64
  • 配置文件：/apps/conf/mysql/percona5.6_3306.cnf
  • 启动文件：/apps/sh/percona5.6_3306.sh

创建软连接

cd /apps/svr/ && ln -s Percona-Server-5.6.20-rel68.0-656.Linux.x86_64 percona5.6
ln -s /usr/lib64/libssl.so.10 /usr/lib64/libssl.so.6
ln -s /usr/lib64/libcrypto.so.10 /usr/lib64/libcrypto.so.6

根据服务器修改配置文件

调整 buffer pool 和 server id：

vi /apps/conf/mysql/percona5.6_3306.cnf
server-id=16554         //IP地址后两位组合
innodb_buffer_pool_size=5G      //服务器总内存的70%-80%
lower_case_table_names=1     //数据库表名忽略大小写

修改权限 && 新增用户

useradd apps

如果执行报错：

chattr -i /etc/passwd
chmod 755 -R /apps/svr chattr -i /etc/shadow
chown -R apps:apps /apps chattr -i /etc/group
chattr -i /etc/gshadow

初始化实例

/apps/svr/percona5.6/scripts/mysql_install_db --defaults-file=/apps/conf/mysql/percona5.6_3306.cnf --basedir=/apps/svr/percona5.6 --datadir=/apps/dbdat/percona5.6_data3306 --user=apps

启动数据库

sh /apps/sh/percona5.6_3306.sh start

设置环境变量

vi .bash_profile
cd /root
vi .bash_profile
PATH=$PATH:$HOME/bin:/apps/svr/percona5.6/bin
source .bash_profile

登陆数据库

mysql -S /tmp/mysql3306.sock

账号初始化授权

GRANT ALL PRIVILEGES ON *.* TO 'mysqladmin'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION ;

设置 root 的密码

set password for root@localhost = password('root');

《分系统系统搭建实战》上下两篇，主要介绍了分布式系统常用到的中间件软件部署及策略。基本都是实操演练，所以就没写太多关于理论的知识，直接对着服务器开干。

本篇部署实战的架构经过实际系统的检验和压测，基本能满足 2000 并发、亿级数据量的性能和稳定性要求。文章中的部署架构图只是简单示例，并非实战项目的架构图，大型项目的部署架构要远比这个复杂，但策略也无外乎那几类的组合。中间件是死的，策略是活的，不同的架构和不同的应用场景使用的策略有不同，架构设计和部署策略绝对不是万能公式套用。

此外，还有 LVS 负载均衡部署、MySQL 主从部署、MySQL-PXC 集群部署、Mycat 部署、InfluxDB 时序数据库部署、Telegraf 埋点采集器部署等，由于篇幅原因，后续文章再单独整理分享给大家，欢迎大家订阅关注，谢谢！

相关推荐

10w qps缓存数据库——Redis（redis缓存调优）

一、Redis数据库介绍：Redis：非关系型缓存数据库nosql：非关系型数据库没有表，没有表与表之间的关系，更不存在外键存储数据的形式为key：values的形式c语言写的服务（监听端口），用来存...

Redis系列专题4--Redis配置参数详解

本文基于windowsX64，3.2.100版本讲解，不同版本默认配置参数不同在Redis中，Redis的根目录中有一个配置文件（redis.conf，windows下为redis.windows....

开源一夏 | 23 张图，4500 字从入门到精通解释 Redis

redis是目前出场率最高的NoSQL数据库，同时也是一个开源的数据结构存储系统，在缓存、数据库、消息处理等场景使用的非常多，本文瑞哥就带着大家用一篇文章入门这个强大的开源数据库——Redis。...

redis的简单与集群搭建（redis建立集群）

Redis是什么？是开源免费用c语言编写的单线程高性能的（key-value形式）内存数据库，基于内存运行并支持持久化的nosql数据库作用主要用来做缓存，单不仅仅是做缓存，比如：redis的计数器生...

推荐几个好用Redis图形化客户端工具

RedisPlushttps://gitee.com/MaxBill/RedisPlusRedisPlus是为Redis可视化管理开发的一款开源免费的桌面客户端软件，支持Windows、Linux...

关于Redis在windows上运行及fork函数问题

Redis在将数据库进行持久化操作时，需要fork一个进程，但是windows并不支持fork，导致在持久化操作期间，Redis必须阻塞所有的客户端直至持久化操作完成。微软的一些工程师花费时间在解决在...

你必须懂的Redis十大应用场景（redis常见应用场景）

Redis作为一款高性能的键值存储数据库，在互联网业务中有着广泛的应用。今天，我们就来详细盘点一下Redis的十大常用业务场景，并附上Golang的示例代码和简图，帮助大家更好地理解和应用Redis。...

极简Redis配置（redis的配置）

一、概述Redis的配置文件位于Redis安装目录下，文件名为redis.conf(Windows名为redis.windows.conf，linux下的是redis.conf)你可以通过C...

什么是redis，怎么启动及如何压测

从今天起咱们一起来学习一下关于“redis监控与调优”的内容。一、Redis介绍Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。...

一款全新Redis UI可视化管理工具，支持WebUI和桌面——P3X Redis UI

介绍P3XRedisUI这是一个非常实用的RedisGUI，提供响应式WebUI访问或作为桌面应用程序使用，桌面端是跨平台的，而且完美支持中文界面。Githubhttps://github....

windows系统的服务器快速部署java项目环境地址

1、mysql:https://dev.mysql.com/downloads/mysql/（msi安装包）2、redis:https://github.com/tporadowski/redis/r...

window11 下 redis 下载与安装（windows安装redis客户端）

#热爱编程是一种怎样的体验#window11下redis下载与安装1）各个版本redis下载(windows)https://github.com/MicrosoftArchive/r...

一款轻量级的Redis客户端工具，贼好用!

使用命令行来操作Redis是一件非常麻烦的事情，我们一般会选用客户端工具来操作Redis。今天给大家分享一款好用的Redis客户端工具TinyRDM，它的界面清新又优雅，希望对大家有所帮助！简介Ti...

一个.NET开发且功能强大的Windows远程控制系统

我们致力于探索、分享和推荐最新的实用技术栈、开源项目、框架和实用工具。每天都有新鲜的开源资讯等待你的发现！项目介绍SiMayRemoteMonitorOS是一个基于Windows的远程控制系统，完...

Redis客户端工具详解(4款主流工具)

大家好，我是mikechen。Redis是大型架构的基石，也是大厂最爱考察内容，今天就给大家重点详解4款Redis工具@mikechen本篇已收于mikechen原创超30万字《阿里架构师进阶专题合集...

一周热门
最近发表
标签列表