分布式监控一种将监控任务分散到多个节点、由中心统一管理的技术架构核心目标是解决大规模、跨地域、高并发环境下的监控性能瓶颈与网络延迟问题Proxy代理 是实现分布式监控的核心组件。它本质是一个轻量级的数据采集与转发节点部署在被监控区域的本地网络中负责代替中心 Server 收集 Agent 数据并统一上报。Proxy 本身不处理告警、不生成图表仅作为“数据中转站”从而大幅减轻中心 Server 的负载压力proxy与server不可共用数据库否则会导致数据损坏新建虚拟机作为proxy官网找到proxy下载入口下载软件包下载依赖下载MySQLserver端启动服务启动MySQL创建数据库导入数据修改配置文件server指向server端修改为自己的密码因为我们还用到了java端口所以配置JMX服务主机IP和启动进程数来到web端在管理中添加proxy名称严格按照之前配置文件中的hostname修改这里Z应该大写启动sever2的proxysever1上刷新配置缓存重启服务查看日志会出现以下提示两台agentsever2sever3上修改配置文件指向代理proxy主机IP重启服务查看日志成功收到来自server端的数据没有报错grafana数据可视化下载rpm包官网下载方法安装启动服务浏览器访问主机IP3000端口密码与用户都是admin登录之后重新设定密码下载zabbix插件server端安装插件重启服务回到grafana找到插件界面可以看到安装成功点击enable搜索zabbix添加数据源连接方式点击savetest保存成功回到主界面仪表盘这里添加新仪表盘选择zabbix添加监控项成功更改中文修改文件将默认语言改为汉语重启服务查看成功修改为中文且此方法修改后所有访问此网站的用户看到的界面都是中文日志监控elasticsearch集群部署新部署三台centos7的虚拟机保证解析正确sever1上下载rpm包安装编辑配置文件集群名为my-es节点名字可以修改开启内存锁定可以绑定网络地址0.0.0.0因为一会会直接将配置文件复制到sever23所以这里将节点名注释掉添加之后的节点编辑系统设置文件为 elasticsearch 用户设置资源限制systemd 服务添加内存锁定权限此条语句添加在service项目下关闭系统中所有已启用的交换分区再编辑文件永久关闭swap设置开机自启sever1sever2sever3做免密复制软件到sever23sever2,3安装将配置文件复制到sever23关闭系统中所有已启用的交换分区编辑文件永久禁用 Swap重新加载缓存设置开机自启访问成功现在在任意节点上都可以访问其他节点cerebro部署开源的 Elasticsearch 集群管理 Web 工具提供了一个功能强大、界面美观的 Web 界面用于监控和管理 Elasticsearch 集群再启动一台虚拟机sever4下载压缩包cerebro官方https://github.com/lmenezes/cerebro/还需要安装docker安装依赖添加阿里云docker源安装docker启动设置开机自启将cerebro导入docker环境启动cerebro容器浏览器访问sever4的9000端口可以填写ES集群任意一个节点的9200端口看到之前部署的三个节点点击左上角node可以看到节点情况集群角色分类编辑文件sever1作为协调节点和主节点sever23作为纯数据节点和主节点因为一个集群中至少需要三个主节点回到网站查看名字旁边的图标代表不同角色logstash从各种来源采集数据对数据进行转换和处理然后将数据发送到指定的目的地部署新部署虚拟机sever5下载rpm包并安装切目录创建文件定义基础数据处理管道elasticsearch-head插件专为 Elasticsearch 设计的轻量级、开源 Web 前端可视化管理工具并非官方插件以独立静态网页应用的形式运行通过 HTTP 协议与 Elasticsearch 的 RESTful API 交互帮助用户直观地查看和操作集群安装依赖下载文件压缩/解压缩工具下载所要用到的压缩包和rpm包解压缩复制文件相当于做软链接安装依赖库测试是否成功安装node.js环境安装解压缩工具获取Head插件的源代码使用 npm (Node Package Manager) 安装项目所需的依赖库修改配置文件在4388行处将localhost改为serverIPsever1在后台运行通过端口查看是否成功运行编辑文件http.cors.enabled: true开启跨域资源共享功能http.cors.allow-origin: *允许所有来源域名/IP访问 ES 接口。* 是通配符表示不限制访问来源重启服务访问sever4的9100端口可以看到集群情况