vivo Pulsar 万亿级消息处理实践 - Ansible运维部署一、背景与挑战万亿级消息场景下的运维困境在vivo的万亿级消息处理场景中Apache Pulsar作为核心消息中间件每天处理数万亿条消息。面对如此庞大的集群规模数百台节点手动运维变得不可行。例如升级Pulsar版本、修改配置、监控健康状态等操作如果依赖人工逐一登录服务器不仅效率低下还容易人为出错。为此我们引入Ansible自动化运维工具实现Pulsar集群的标准化、可重复部署与动态管理。## 二、Ansible基础概念为什么选择它Ansible是一种基于SSH的IT自动化工具无需客户端代理Agentless通过YAML格式的Playbook定义任务。其核心优势包括-声明式配置描述“最终状态”而非执行步骤。-幂等性多次执行同一Playbook结果一致不会重复修改。-模块化内置大量模块如copy、service、shell可组合使用。在Pulsar运维中我们利用Ansible管理配置分发、服务启停、滚动升级等任务。## 三、Ansible核心组件与Pulsar结合### 1. Inventory主机清单定义Pulsar集群的所有节点按角色分组如brokers、bookies、zookeepers。ini# inventory/pulsar_hosts.ini[all:vars]ansible_userrootansible_ssh_private_key_file/path/to/key[zookeepers]zk1 ansible_host10.0.0.1zk2 ansible_host10.0.0.2zk3 ansible_host10.0.0.3[brokers]broker1 ansible_host10.0.0.10broker2 ansible_host10.0.0.11[bookies]bookie1 ansible_host10.0.0.20bookie2 ansible_host10.0.0.21### 2. Playbook编排剧本定义任务序列例如部署Pulsar Broker。yaml# deploy-pulsar-broker.yml---- name: 部署Pulsar Broker节点 hosts: brokers gather_facts: yes vars: pulsar_version: 2.11.0 install_dir: /opt/pulsar tasks: - name: 1. 下载Pulsar二进制包 get_url: url: https://apache.org/dist/pulsar/pulsar-{{ pulsar_version }}/apache-pulsar-{{ pulsar_version }}-bin.tar.gz dest: /tmp/pulsar-{{ pulsar_version }}.tar.gz register: download_result - name: 2. 解压到安装目录 unarchive: src: /tmp/pulsar-{{ pulsar_version }}.tar.gz dest: {{ install_dir }} remote_src: yes extra_opts: [--strip-components1] when: download_result.changed - name: 3. 同步配置文件从模板生成 template: src: templates/broker.conf.j2 dest: {{ install_dir }}/conf/broker.conf register: config_changed - name: 4. 启动服务使用systemd systemd: name: pulsar-broker state: started enabled: yes daemon_reload: yes when: config_changed.changed### 3. 配置文件模板Jinja2根据节点IP动态生成Pulsar配置。jinja# templates/broker.conf.j2zookeeperServers{{ groups[zookeepers] | map(extract, hostvars, ansible_host) | join(,) }}configurationStoreServers{{ groups[zookeepers] | map(extract, hostvars, ansible_host) | join(,) }}bindAddress{{ ansible_default_ipv4.address }}advertisedAddress{{ ansible_default_ipv4.address }}brokerServicePort6650webServicePort8080## 四、高级实践万亿级消息下的滚动升级在万亿级消息场景中升级必须零中断。我们设计了一个滚动升级Playbook逐个节点停止服务、更新、启动并验证健康再进入下一个节点。yaml# rolling-upgrade-pulsar.yml---- name: 滚动升级Pulsar Broker集群 hosts: brokers serial: 1 # 每次只操作一个节点 vars: new_version: 2.12.0 health_check_endpoint: http://{{ ansible_host }}:8080/admin/v2/brokers/health tasks: - name: 1. 检查当前节点是否健康前置检查 uri: url: {{ health_check_endpoint }} method: GET status_code: 200 register: pre_health - name: 2. 优雅停止Broker等待消费者处理完毕 systemd: name: pulsar-broker state: stopped when: pre_health.status 200 - name: 3. 备份旧版本二进制保留回滚能力 archive: path: {{ install_dir }}/bin/pulsar dest: /tmp/pulsar-old-{{ ansible_date_time.epoch }}.tar.gz - name: 4. 下载新版本并替换 get_url: url: https://apache.org/dist/pulsar/pulsar-{{ new_version }}/pulsar-{{ new_version }}-bin.tar.gz dest: /tmp/pulsar-new.tar.gz register: new_download - name: 5. 解压覆盖保留conf目录 unarchive: src: /tmp/pulsar-new.tar.gz dest: {{ install_dir }} remote_src: yes extra_opts: [--strip-components1, --excludeconf] when: new_download.changed - name: 6. 启动新版本服务 systemd: name: pulsar-broker state: started - name: 7. 等待服务就绪重试机制 uri: url: {{ health_check_endpoint }} method: GET register: post_health until: post_health.status 200 retries: 10 delay: 5 - name: 8. 输出升级结果 debug: msg: 节点 {{ ansible_host }} 升级完成健康检查通过关键点-serial: 1确保逐个节点升级避免全局中断。- 健康检查端点/admin/v2/brokers/health验证新版本正常工作。- 备份旧版本二进制支持回滚可扩展为自动回滚逻辑。## 五、扩展监控与自愈结合Ansible的cron模块和Pulsar的Prometheus指标我们定期执行自愈任务。例如当Broker内存使用率超过85%时自动重启服务。yaml# self-healing.yml- name: 自动修复高内存Broker hosts: brokers tasks: - name: 获取内存使用率通过Prometheus shell: | curl -s http://prometheus:9090/api/v1/query?queryprocess_resident_memory_bytes{instance{{ ansible_host }}} | jq .data.result[0].value[1] | tonumber / 1e9 register: memory_gb - name: 如果内存使用率超过85%触发重启 systemd: name: pulsar-broker state: restarted when: memory_gb.stdout | float 8.5 # 假设总内存10GB## 六、总结本文从vivo万亿级消息处理的实际痛点出发系统讲解了Ansible在Pulsar集群运维中的应用。我们从基础概念Inventory、Playbook、模板入手逐步深入到滚动升级、健康检查、自愈等高级实践。通过自动化我们将过去需要数小时的人工操作压缩到分钟级且错误率降低90%。未来我们计划将Ansible与Kubernetes Operator结合实现更细粒度的容器化Pulsar管理持续支撑vivo的万亿级消息洪峰。