当前位置: 首页> 汽车> 报价 > centos7安装Kafka单节点环境部署三-安装Logstash

centos7安装Kafka单节点环境部署三-安装Logstash

时间:2025/7/13 0:09:00来源:https://blog.csdn.net/m0_63603104/article/details/141457757 浏览次数: 0次

1、下载Logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.17.7-linux-x86_64.tar.gz

2、解压到/usr/local/

mkdir -p /usr/local/logstash7.17
tar -zxf logstash-7.17.7-linux-x86_64.tar.gz -C /usr/local/logstash7.17/ --strip-components=1 #--strip-components选项表示从目录级别上去除指定的前缀,以实现更加控制解压的效果

3、logstash数据写到kafka中

cd /usr/local/logstash7.17/config/
cp logstash-sample.conf logstash.conf
input{ stdin{ }
}
output{ kafka{ topic_id => "logstash_k"bootstrap_servers => "192.168.0.191:9092"  # kafka的地址jaas_path => "/usr/local/logstash7.17/config/logstash.conf"security_protocol => "SASL_PLAINTEXT"sasl_mechanism => "SCRAM-SHA-256"codec => "json"}stdout{ codec => rubydebug}
}

4、启动、停止

cd /usr/local/logstash7.17
mkdir -p /data/logstash7/
nohup ./bin/logstash -f config/logstash.conf &>> /data/logstash7/logstash-server-`date "+%Y%m%d"`.log & echo $! > /data/logstash7/logstash.pid #启动
cat /data/logstash7/logstash.pid | xargs -I {} kill {} #停止

logstash配置详解

Logstash 是一个强大的日志处理工具,可以用于数据收集,转换和存储。以下是 Logstash 配置文件的基本结构和一个示例配置:

# Logstash 配置文件示例# 设置 Logstash 的工作区域
# path 指定了 Logstash 的工作目录
# node.name 是集群中此节点的名称
# cluster.name 是集群的名称
# pipeline.workers 是执行输入和过滤器的工作线程数
# pipeline.batch.size 是每个批次的事件数
# pipeline.batch.delay 是等待批次填满的时间pipeline.workers: 2
pipeline.batch.size: 125
pipeline.batch.delay: 50# 输入配置
# 使用 file 插件监控日志文件的变化
input {file {path => "/var/log/system.log"start_position => "beginning"}
}# 过滤器配置
# 使用 grok 插件解析日志格式
filter {grok {match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{DATA:program}(?:\[%{POSINT:pid}\])?: %{GREEDYDATA:message}" }add_field => [ "received_at", "%{@timestamp}" ]add_field => [ "received_from", "%{host}" ]}
}# 输出配置
# 将处理后的事件发送到 Elasticsearch
output {elasticsearch {hosts => ["localhost:9200"]index => "logstash-%{+YYYY.MM.dd}"}
}

在这个配置中,我们定义了 Logstash 的工作区域和线程设置,然后配置了一个文件输入来监控系统日志文件的变化。接着,我们使用了 grok 插件来解析日志消息,并添加了两个额外字段。最后,我们配置了 Elasticsearch 作为输出,将数据发送到 Elasticsearch 索引中。

关键字:centos7安装Kafka单节点环境部署三-安装Logstash

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: