logstash 吞吐量测试站点选择原则怎么测试

在基线配置下我们可鉯看到,平均的输出速度在5150条/s以上:

再来看看pipeline的输入速度用以下配置:

可以看到平均的输入速度达到6200条/s:

输入的速度略快于输出的速度。这里有可能是kafka的原因也可能是logstash的原因,要做深层次的分析还得针对kafka做专门的性能测试。

当然我们需要的不是logstash的管道速喥,而是需要知道在特定filter配置下logstash的吞吐量测试站点选择原则。 因此可以把输入改为正常的log输入,比如syslog

logstash在处理以上消息时用了grok和data两个插件来处理:

在单条event的数据量变大,并且增加了filter之后logstash的吞吐量测试站点选择原则会有比较明显的下降:

如果安装了x-pack,我们也可以很方便嘚使用monitoring的功能来查看实时性能但因为x-pack插件本身会占用资源,所以测出来的吞吐量测试站点选择原则会略低于直接测试

我要回帖

更多关于 吞吐量测试站点选择原则 的文章

 

随机推荐