需求并不复杂并不需要数据流转过滤这种功能的话在 ELK 架构中 Logstash 完全可以被剔除掉只使用 Filebeat Elasticsearch Kibana 的组合即可。若业务更大、需求更复杂则可以采用以下的集群架构设计1、绘图器 - Kibana在 ELK 中Elasticsearch 是整个系统的核心存储与搜索引擎它承担了系统中几乎全部功能但它却只对外提供了一套 HTTP API 接口没有提供可视化的图形交互界面这使得普通用户使用它会非常的吃力。高级用户虽可通过REST API发送请求来增删改查数据、创建索引、执行搜索和聚合操作但也极为不便。为此Kibana 诞生了它是基于这套 API 接口来专门为 Elasticsearch 设计的可视化和交互界面通过 Kibana用户可以很方便的查询 Elasticsearch 中的数据、绘制图表、构建仪表盘轻松实现对日志数据的可视化和分析。Kibana 将 Elasticsearch 的功能划分成了四个类别分析、观测、安全、管理虽然界面提供的功能很多但其中大部分功能对于普通用户而言基本用不到为此我只对自己觉得有用的页面功能做一个简要的介绍以便能够更快的了解这套系统。1.1、分析 - Analytics分析菜单中的主要页面有 Discover、Dashboards、Maps、Visualize 库【1】Discover 页面功能介绍注1上图保存的作用是可以将这个搜索过滤条件作为一个可视化组件保存起来以供在自定义面板的时候可以去调用使用。2日志数据源又叫做数据视图它代表着我们可以从哪些索引存储中去读取日志数据。【① 处的子选项“管理数据视图”和 “Stack 管理-数据视图”是一个意思。】【2】Dashboards 常用预置面板【注与集成中的应用是一一对应的关系】系统日志 [Filebeat System] Syslog dashboard ECSApache HTTP 服务器日志 [Filebeat Apache] Access and error logs ECSNginx 日志[Filebeat Nginx] Overview ECSMySQL 日志 [Filebeat MySQL] Overview ECS【3】Visualize 库组件可视化组件Lens可拖拽式的图表工具系统可根据字段类型自动选择合适的聚合方式使用起来很智能、很省力。基于聚合传统的图表工具用户需要手动完成聚合的配置。文本主要用于仪表盘描述说明支持 Markdown 语法以及可调用的系统变量。Maps地理位置可视化图表只有当日志数据的字段中携带地理坐标字段时才适合使用此组件否则一片空白。【注filebeat 的 nginx 模块可以将访客 ip 直接转换成地理坐标字段因此该组件对于分析 nginx 日志来说很好用。切记内网 ip如 192.168.1.1这类的地址不会被转换为地理坐标字段。】1为了弄清Lens 图表和基于聚合的图表之间有什么区别我特地制作了一组关于统计年龄段及年龄段内工资范围的统计图用以观察二者之间的区别对比来看二者似乎也就是设置方式上的不同而已其它并无差别。2下面是关于文本组件的设置界面可以看到它的使用界面非常的简单而它的作用也无非就是描述说明、超链接跳转页面。