elk

ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。日志监控和分析在保障业务稳定运行时,起到了很重要的作用,不过一般情况下日志都分散在各个生产服务器,且开发人员无法登陆生产服务器,这时候就需要一个集中式的日志收集装置,对日志中的关键字进行监控,触发异常时进行报警,并且开发人员能够查看相关日志。elasticsearch+logstash+kibana就是实现这样功能的一套系统,并且功能更强大。

{{totalSubscript}} 订阅 ,27,035 游览
    7
    推荐
    12k
    浏览
    ElasticSearch定时删除数据
    有的时候我们在使用ES时,由于资源有限或业务需求,我们只想保存最近一段时间的数据,所以有如下脚本可以定时删除数据新建 `delete_es_by_day.sh` 脚本:```!/bin/sh example: sh delete_es_by_day.sh logstash-kettle-log...
     半兽人 发布于8年前
    6
    推荐
    9.9k
    浏览
    ElasticSearch中根据查询结果删除数据(delete by query)
    原有的方法在2.0版本中已经删除了,提供了`delete by query`插件来实现这个功能。这个插件的使用过程大致如下:1.安装。打开命令行,切到Elasticsearch文件夹中,运行如下命令:sudo bin/plugin install delete-by-query成功安装后,结果如下:...
     小蕊 发布于8年前
    4
    推荐
    13k
    浏览
    将message日志中的字符串时间格式转化成@timestamp - Logstash
    采集日志的时候,由于有多个文件共同采集,时间顺序就不对了,所以要把@timestamp设置成日志中的时间。我的日志格式如下:```[2016-11-01 16:48:24,946] [ERROR] c.b.t.x.x.x.x 200 -- [f8b9e646-363e-4976-ac83-944a9...
     半兽人 发布于8年前
    4
    推荐
    9.8k
    浏览
    linux下elasticSearch安装及head安装
    一、安装elasticsearch 前提首先,确保jdk为`jdk1.8.0_73`以上,并已确保安装ok。 1、下载elasticsearch```wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5....
     半兽人 发布于8年前
    3
    推荐
    11k
    浏览
    Logstash自定义正则表达式
    创建一个自定义的patterns,在logstash目录下创建一个`patterns`。```vim patternsLOG_TIME (\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})```在patterns文本里写入正则表达式,该正则是匹配日志中的时间的。然...
     半兽人 发布于8年前
    2
    推荐
    7.8k
    浏览
    Logstash将不同数据源输出到不同的地方
    场景logstash采集2个数据源A和B,A数据源的入kafka,B数据源的都入es。 示例语法 Input{ file { path =a type =A } file { path =b type =B } } output { if [t...
     半兽人 发布于8年前
    1
    推荐
    11k
    浏览
    用root启动elasticsearch
    启动elasticserach./bin/elasticsearch -d错误如下java.lang.RuntimeException: don't run elasticsearch as root. at org.elasticsearch.bootstrap.Bootst...
     半兽人 发布于8年前
    1
    推荐
    14k
    浏览
    设置elasticsearch的默认分区数和副本数
    最近使用elasticsearch 5.1版本,默认在配置中可设置分区和副本的数量现在不能使用了,翻了下文档,记录一下 修改现有修改现有的副本数为0```curl -XPUT https://192.168.x.x:9200/_settings -d ' {"index":{"number_of_r...
     半兽人 发布于8年前
    0
    推荐
    5.5k
    浏览
    ElasticSearch命令大全
    集群``` 查询集群健康状态GET _cluster/health 查询所有节点GET _cat/nodes 查询索引及分片的分布GET _cat/shards 查询指定索引分片的分布GET _cat/shards/order_stpprdinf_2019-12?v 查询所有插件GET _cat/...
     半兽人 发布于6年前
    0
    推荐
    6.4k
    浏览
    Logstash使用详解
    Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。 下载、安装、使用这款工具是开箱即用的软件,下载自己对应的系统版本即可。https://www.elastic.co/downloads/lo...
     半兽人 发布于8年前
1 / 2 跳转到