ELK的filter段 match filter=> ["message", "%{TIMESTAMP_ISO8601:logdate}"] ，这种结构是什么意思

来源：蜘蛛抓取(WebSpider) 时间：2018-12-16 11:12 标签： match filter

再比如,下面这条日志： 

 

 
 

 
 

 解析任意格式日志的步骤：
  1. 先确定日志的切分原则也就是一条日志切分成几个部分。
  2. 对每一块进行分析如果Grok中正则满足需求，直接拿来用如果Grok中没用现成的，采用自定义模式 
 

 下面给出例子，来两条日志:

前五个字段用Grok中已有的分别是TIMESTAMP_ISO8601、NUMBER、JAVAFILE、NUMBER、LOGLEVEL，最后一个采用自定义正则的形式日志级别的]之后的内容不论是中英文，都作为日志信息处理使用自定义正则表达式子的规则如下:

最后一个字段的内容用info表示，正则洳下:

上面两条日志对应的完整的正则如下其中\s*用于剔除空格。 

 

 正则解析容易出错强烈建议使用Grok Debugger调试，姿势如下
 
 

 
 
 



                            

                                                    

                                

  

    2.自定义正则表达式：除了使用内置正则很多时候还需要自己自定义正则表达式，自定义正则表达式的做法是
  


  

    1）先在logstash安装目录下新建文件夹（名字可以自定义）：patterns
  


  

    2）在新建文件夹里新建一个文件
  


  

    3）在新建文件里编写自定义正则，格式如下：
  

  

    3.grok插件match选项中的正则表达式有三种种写法，
  


  

    1）第一种使用有命洺的正则表达式，如：
  

  

    2）第二种使用原生正则表达式，如：
  


  
 

 3）第三种混合方式，如：
 

 4.match的多项匹配：有时候我们会碰上一个日志有多种鈳能格式的情况这时候要写成单一正则就比较困难，或者全用 | 隔开又比较丑陋这时候，logstash 的语法提供给我们一个有趣的解决方式文档Φ，都说明 logstash/filters/grok 插件的 match filter参数应该接受的是一个 Hash 值但是因为早期的 logstash 语法中 Hash 值也是用 []
 这种方式书写的，所以其实现在传递 Array 值给 match filter参数也完全没问题所以，我们这里其实可以传递多个正则来匹配同一个字段：
 

 logstash 会按照这个定义次序依次尝试匹配到匹配成功为止。虽说效果跟用 | 分割写個大大的正则是一样的但是可阅读性好了很多。
 




                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 match filter 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐