rabbitmq 集群搭建以及万级并发下的性能调优

> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码， 原文地址 [www.tuicool.com](https://www.tuicool.com/articles/ZN73I36)

### 一、 服务器列表

<table><tbody><tr><td width="6%">ROLE</td><td width="14%">OPERATING SYSTEM</td><td width="6%">NAME</td><td width="24%">SIZE</td><td width="11%">AVAILABILITY SET</td><td width="11%">PRIVATE IP ADDRESS</td><td width="5%">DATA DISKS</td><td width="5%">MOUNT&nbsp; POINT</td><td width="4%">Environment</td><td colspan="1" width="4%">version</td><td colspan="1" width="10%">Listen Port</td></tr><tr><td width="6%">RabbitMQ01</td><td width="14%">OpenLogic/CentOS/7.4</td><td width="6%">aceta022vu11</td><td width="24%">Standard_DS2_v2(2 vcpus, 7 GB memory)</td><td width="11%">ACETA022AS05</td><td width="11%">10.224.28.121</td><td width="5%">32GB</td><td width="5%">/data</td><td width="4%">sample</td><td colspan="1" width="4%">3.7.17</td><td colspan="1" width="10%">5672，15672，25672</td></tr><tr><td width="6%">RabbitMQ02</td><td width="14%">OpenLogic/CentOS/7.4</td><td width="6%">aceta022vu12</td><td width="24%">Standard_DS2_v2(2 vcpus, 7 GB memory)</td><td width="11%">ACETA022AS05</td><td width="11%">10.224.28.122</td><td width="5%">32GB</td><td width="5%">/data</td><td width="4%">sample</td><td colspan="1" width="4%">3.7.17</td><td colspan="1" width="10%">5672，15672，25672</td></tr><tr><td width="6%">RabbitMQ03</td><td width="14%">OpenLogic/CentOS/7.4</td><td width="6%">aceta022vu13</td><td width="24%">Standard_DS2_v2(2 vcpus, 7 GB memory)</td><td width="11%">ACETA022AS05</td><td width="11%">10.224.28.123</td><td width="5%">32GB</td><td width="5%">/data</td><td width="4%">sample</td><td colspan="1" width="4%">3.7.17</td><td colspan="1" width="10%">5672，15672，25672</td></tr></tbody></table>

### 二、 环境配置

配置三台 rabbitmq 的 hosts：

sudo vim /etc/hosts

```
10.224.28.121   aceta022vu11
10.224.28.122   aceta022vu12
10.224.28.123   aceta022vu13
```

配置 Erlang yum repository

sudo vim /etc/yum.repos.d/rabbitmq-erlang.repo

```
[rabbitmq-erlang]
name=rabbitmq-erlang
baseurl=https://dl.bintray.com/rabbitmq-erlang/rpm/erlang/21/el/7
gpgcheck=1
gpgkey=https://dl.bintray.com/rabbitmq/Keys/rabbitmq-release-signing-key.asc
repo_gpgcheck=0
enabled=1
```

安装 erlang 依赖

```
sudo yum install -y erlang
```

### 三、RabbitMQ 安装

以下操作在 10.224.28.121 上执行：

官网下载地址： [https://www.rabbitmq.com/install-generic-unix.html](https://www.rabbitmq.com/install-generic-unix.html)

```
wget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.17/rabbitmq-server-generic-unix-3.7.17.tar.xz
```

解压到 / data 目录下

```
// 把/data目录owner更改为appadmin
sudo chown appadmin:appadmin -R /data
 
tar xvf rabbitmq-server-generic-unix-3.7.17.tar.xz -C /data
```

添加环境变量 (这个步骤三台主机都需要)

sudo vim /etc/profile

```
export RABBITMQ_HOME=/data/rabbitmq_server-3.7.17
export PATH=$RABBITMQ_HOME/sbin:$PATH
```

注：执行 source /etc/profile 使变量生效

启用 Rabbitmq 插件

```
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_tracing
```

拷贝 rabbitmq-server 到另两台主机

```
scp -r /data/rabbitmq_server-3.7.17/ appadmin@10.224.28.122:/data
scp -r /data/rabbitmq_server-3.7.17/ appadmin@10.224.28.123:/data
```

拷贝. erlang.cookie 到另两台主机：

.erlang.cookie 文件位置位于 $home/.erlang.cookie，必须保证集群内所有的 cookie 文件是一致的，然后在启动服务。

```
scp $HOME/.erlang.cookie appadmin@10.224.28.122:$HOME/.erlang.cookie
 
scp $HOME/.erlang.cookie appadmin@10.224.28.123:$HOME/.erlang.cookie
```

### 四、 启动 Rabbitmq 服务，并配置权限

使用 - detached 参数运行各节点

```
rabbitmq-server -detached
```

添加 admin 用户，并授权

```
# 添加用户并设置密码：
rabbitmqctl add_user admin admin
 
# 添加权限（使admin用户对虚拟机"/" 具有所有权限）
rabbitmqctl set_permissions -p "/" admin ".*" ".*" ".*"
 
# 修改用户角色（加入administrator用户组）
rabbitmqctl set_user_tags admin administrator
```

### 五、 组建集群

rabbitmq-server 启动时，会一起启动节点和应用，它预先设置 RabbitMQ 应用为 standalone 模式。要将一个节点加入到现有的集群中，你需要停止这个应用，并将节点设置为原始状态。如果使用./rabbitmqctl stop，应用和节点都将被关闭。所以使用 rabbitmqctl stop_app 仅仅关闭应用。

将 aceta022vu12、aceta022vu13 与 aceta022vu11 组成集群

# 在 aceta022vu12、aceta022vu13 分别执行：

```
rabbitmqctl stop_app
rabbitmqctl join_cluster rabbit@aceta022vu11
rabbitmqctl start_app
```

则此时 aceta022vu12 与 aceta022vu13 也会自动建立连接，集群配置完毕

PS：如果要使用内存节点，则可以使用 aceta022vu12# rabbitmqctl join_cluster --ram rabbit@aceta022vu11 加入集群，集群配置好后，可以在 RabbitMQ 任意节点上执行 rabbitmqctl cluster_status 来查看是否集群配置成功。

### 六、 集群状态查看

可以任意节点上执行：

rabbitmqctl cluster_status

```
[appadmin@aceta022vu11 ~]$ rabbitmqctl cluster_status
Cluster status of node rabbit@aceta022vu11 ...
[{nodes,[{disc,[rabbit@aceta022vu11]}]},
 {running_nodes,[rabbit@aceta022vu11]},
 {cluster_name,<<"rabbit@aceta022vu11">>},
 {partitions,[]},
 {alarms,[{rabbit@aceta022vu11,[]}]}]
[appadmin@aceta022vu11 ~]$ rabbitmqctl cluster_status
Cluster status of node rabbit@aceta022vu11 ...
[{nodes,[{disc,[rabbit@aceta022vu11,rabbit@aceta022vu12,
 rabbit@aceta022vu13]}]},
 {running_nodes,[rabbit@aceta022vu13,rabbit@aceta022vu12,rabbit@aceta022vu11]},
 {cluster_name,<<"rabbit@aceta022vu11">>},
 {partitions,[]},
 {alarms,[{rabbit@aceta022vu13,[]},
 {rabbit@aceta022vu12,[]},
 {rabbit@aceta022vu11,[]}]}]
```

### 七、 网页访问管理页面查看

[http://10.224.28.121:15672/#/](http://10.224.28.121:15672/#/)

![](https://img1.tuicool.com/rENv6vj.png!web)

八、 配置优化建议（每台保持同样的配置，配置完成后重启 RabbitMQ，如启动失败则用前台方式启动查看输出日志）

1. linux 操作系统参数优化（视服务器实际情况参数优化），配置文件：/etc/sysctl.conf

```
fs.file-max = 6553560
net.core.somaxconn = 65534
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_keepalive_time = 30
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl = 15
```

2. RabbitMQ 配置优化，新增文件 rabbitmq.conf，文件存放目录：/data/rabbitmq_server-3.7.17/etc/rabbitmq/，注意修改日志目录：log.dir，主要修改接受 TCP 连接的 Erlang 进程数、握手超时、最大内存使用、磁盘空间大小、数据存放目录、设置每个连接允许的最大通道数、心跳超时、日志文件大小等等。放上官方最全配置： [https://github.com/rabbitmq/rabbitmq-server/blob/v3.7.x/docs/rabbitmq.conf.example](https://github.com/rabbitmq/rabbitmq-server/blob/v3.7.x/docs/rabbitmq.conf.example)

```
listeners.tcp.default = 5672
num_acceptors.tcp = 20
handshake_timeout = 10000
vm_memory_high_watermark.relative = 0.4
vm_memory_calculation_strategy = rss
vm_memory_high_watermark_paging_ratio = 0.5
disk_free_limit.absolute = 10GB
frame_max = 131072
initial_frame_max = 4096
channel_max = 2047
heartbeat = 60
default_vhost = /
log.dir = /data/rabbitmq_server-3.7.17/logs
log.file = rabbit.log
log.file.level = info
log.file.rotation.size = 52428800
log.file.rotation.count = 10
hipe_compile=true
```

RabbitMQ 环境配置文件，文件名：rabbitmq-env.conf，文件存放目录：/data/rabbitmq_server-3.7.17/etc/rabbitmq/  注意参数：LOG_BASE，还有 MNESIA_BASE（此目录是 Rabbit 数据库目录，必须保证有足够的空间）

3. 配置修改完成后，重启每个节点，登录控制台查看配置是否生效，如下图：

![](https://img0.tuicool.com/YVv6Rja.png!web)

![](https://img1.tuicool.com/QrQryuv.png!web)

参数
--

请不要看上面安装文档中的参数，那些只是 “普通通用安装”，真正的调优是以此篇中的参数为准，以下标红部分为特别重要，特别需要仔细。

<table><tbody><tr><td colspan="1" width="21%">listeners.tcp.default</td><td colspan="1" width="62%">用于监听 AMQP 连接的端口列表 (无 SSL). 可以包含整数 (即 "监听所有接口") 或者元组如&nbsp;{"127.0.0.1", 5672}&nbsp;用于监听一个或多个接口.Default:&nbsp;[5672]</td><td colspan="1" width="17%">5672</td></tr><tr><td colspan="1" width="21%">num_acceptors.tcp</td><td colspan="1" width="62%">接受 TCP 侦听器连接的 Erlang 进程数。Default:&nbsp;10这个值直接影响到了另一个值即： <code>connection_max，这个值是在客户端设的，公式如下：最大连接数=</code> <code>connection_max +num_acceptors -1</code></td><td colspan="1" width="17%">20</td></tr><tr><td colspan="1" width="21%">handshake_timeout</td><td colspan="1" width="62%">AMQP 0-8/0-9/0-9-1 handshake (在 socket 连接和 SSL 握手之后）的最大时间, 毫秒为单位.Default:&nbsp;10000，这边 10 秒是足够了，不能再长了，再长这个不是网络了，是电话拨号网。</td><td colspan="1" width="17%">10000</td></tr><tr><td colspan="1" width="21%">vm_memory_high_watermark.relative</td><td colspan="1" width="62%">流程控制触发的内存阀值，这个值必须设，设置法则如下：&lt;=16gb 内存的机器，设成 04 即 MQ 最多会使用到 16gb*0.4=6.4GB 时，阻塞所有的请求&gt;=32gb 内存的机器，设成 0.6</td><td colspan="1" width="17%">0.4/0.6</td></tr><tr><td colspan="1" width="21%">vm_memory_high_watermark_paging_ratio</td><td colspan="1" width="62%">高水位限制的分数，当达到阀值时，队列中消息消息会转移到磁盘上以释放内存。设置机制同 vm_memory_high_watermark，只不过它的阀值从 0.5 起板～0.6.</td><td colspan="1" width="17%">0.5~0.6</td></tr><tr><td colspan="1" width="21%">disk_free_limit.absolute</td><td colspan="1" width="62%">abbitMQ 存储数据分区的可用磁盘空间限制．当可用空间值低于阀值时，流程控制将被触发. 此值可根据 RAM 的总大小来相对设置 (如.{mem_relative, 1.0}). 此值也可以设为整数 (单位为 bytes) 或者使用数字单位(如．"50MB"). 默认情况下. 因此，很多外面都设 1GB，这个显然是不够的，因为经如果当 RABBITMQ 的消息 dump 可用磁盘还剩 1GB 时，此时留给你的处理时间已经很短了，一般至少设成 10GB。</td><td colspan="1" width="17%">10GB</td></tr><tr><td colspan="1" width="21%">frame_max</td><td colspan="1" width="62%">与客户端协商的允许最大 frame 大小. 设置为０表示无限制，但在某些 QPid 客户端会引发 bug. 设置较大的值可以提高吞吐量; 设置一个较小的值可能会提高延迟.</td><td colspan="1" width="17%">咬合客户端的值</td></tr><tr><td colspan="1" width="21%">initial_frame_max</td><td colspan="1" width="62%">咬合客户端的值</td><td colspan="1" width="17%">咬合客户端的值</td></tr><tr><td colspan="1" width="21%">channel_max</td><td colspan="1" width="62%">与客户端协商的允许最大 chanel 大小. 设置为０表示无限制．该数值越大，则 broker 使用的内存就越高．Default:&nbsp;0</td><td colspan="1" width="17%">咬合客户端的值</td></tr><tr><td colspan="1" width="21%">heartbeat</td><td colspan="1" width="62%">表示心跳延迟 (单位为秒) ，服务器将在 connection.tune&nbsp;frame 中发送. 如果设置为 0, 心跳将被禁用. 客户端可以不用遵循服务器的建议, 查看 <a href="http://www.rabbitmq.com/amqp-0-9-1-reference.html#connection.tune" rel="nofollow,noindex" target="_blank">AMQP reference </a>来了解详情. 禁用心跳可以在有大量连接的场景中提高性能，但可能会造成关闭了非活动连接的网络设备上的连接落下．Default:&nbsp;60&nbsp;(3.5.5 之前的版本是 580)</td><td colspan="1" width="17%">60</td></tr><tr><td colspan="1" width="21%">default_vhost</td><td colspan="1" width="62%">当 RabbitMQ 从头开始创建数据库时创建的虚拟主机.&nbsp;amq.rabbitmq.log 交换器会存在于这个虚拟主机中.Default:&nbsp;&lt;&lt;"/"&gt;&gt;</td><td colspan="1" width="17%">/</td></tr><tr><td colspan="1" width="21%">hipe_compile</td><td colspan="1" width="62%">将此选项设置为 true, 将会使用 HiPE 预编译部分 RabbitMQ,Erlang 的即时编译器.这可以增加服务器吞吐量，但会增加服务器的启动时间．你可以看到花费几分钟延迟启动的成本，就可以带来 20-50% 更好性能. 这些数字与高度依赖于工作负载和硬件．HiPE&nbsp;支持可能没有编译进你的 Erlang 安装中. 如果没有的话，启用这个选项, 并启动 RabbitMQ 时，会看到警告消息． 例如, Debian / Ubuntu 用户需要安装 erlang-base-hipe&nbsp;包.HiPE 并非在所有平台上都可用, 尤其是 Windows.在&nbsp;Erlang/OTP&nbsp;1７.５版本之前，HiPE 有明显的问题 . 对于 HiPE, 使用最新的 OTP 版本是高度推荐的．Default:&nbsp;false</td><td colspan="1" width="17%">true</td></tr></tbody></table>

样例 - rabbitmq.conf
------------------

```
listeners.tcp.default = 5672
 
num_acceptors.tcp = 20
 
handshake_timeout = 10000
 
vm_memory_high_watermark.relative = 0.4
# vm_memory_high_watermark.absolute = 6GB
 
 
vm_memory_calculation_strategy = rss
 
vm_memory_high_watermark_paging_ratio = 0.5
 
disk_free_limit.absolute = 10GB
 
 
frame_max = 131072
 
initial_frame_max = 4096
 
channel_max = 2047
 
heartbeat = 60
 
default_vhost = /
 
hipe_compile = true
```