一组Logstash与Elasticsearch的压测数据

发表于   |   分类于

概述

组内的日志系统基于ELK搭建，本文中的数据在生产环境中进行测试得到，仅供参考。

可供参考的数据为：

Logstash 分析速度为：2352.94 lines/s

ES集群写入速度为：9345.79 records/s

系统构成

系统可以简要的分为：

  • 日志接收机
  • 日志数据队列
  • 日志数据处理机
  • ES集群

在日志接收机上通过一个 Logstash 进程 parse 日志数据，将 parse 后的结构写入由 Redis List 实现的日志数据队列中，之后在ES集群前，再使用一个日志处理机 Logstash 进程从 Redis 中 pop 出数据写入ES集群中。

使用 Redis List 的原因是在于当 parse 能力大于ES集群的处理能力时，缓存数据。

运行环境

日志接收机为CPU为4 * Xeon E5强IO型机器，Redis List 与向ES集群写入的 Logstash 位于同一机器上，即日志数据处理机，CPU为12 * Xeon E5。

处理日志为Nginx access日志，记录了如时间、域名、访问IP、URL、HTTP Method、响应时间、返回体长度等，约10+字段。

参数配置

日志接收机上的 Logstash 配置成了10个线程，output 中的 redis 的参数配置为：

1
2
3
4
5
6
7
8
9
10
output {
    redis {
        host => "192.168.1.101"
        port => '6379'
        data_type => "list"
        key => "Logstash_benchmark"
        type => "nginx_access"
        threads => 5
    }
}

日志数据处理机上的 input 对已配置为：

1
2
3
4
5
6
7
8
9
10
input {
    redis {
        host => "192.168.1.101"
        port => '6379'
        data_type => "list"
        key => "Logstash_benchmark"
        type => "nginx_access"
        threads => 5
    }
}

而 output 配置为：

1
2
3
4
5
6
7
8
9
10
11
output {
    if ([type] == "nginx_access") {
        elasticsearch_http {
            host => "192.168.2.101"
            port => "9527"
            flush_size => 10000
            workers => 10
            index => "Logstash_benchmark"
        }
    }
}

测试方法

测试分为测试 Logstash 分析日志能力，以及ES集群写入能力。

Logstash 的分析能力通过每秒取样 Redis List 中的新增队列长度获得（日志接收机上的 Logstash 生产）。

ES集群的写入能力通过每秒取样 Redis List 中减少的队列长度获得（日志数据处理机上的 Logstash 消费）。

在测试一个阶段时，会关闭另一端的 Logstash。

数据

平均数据后，可供参考的数据为：

Logstash 分析速度为：2352.94 lines/s

ES集群写入速度为：9345.79 records/s