萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

Ruby 終端命令行離線調試 Grok 正則表達式腳本

Logstash 使用者常用 grokdebug.herokuapp.com 線上測試 Grok 模式,但該頁面依賴 Google CDN 的 JS,國內訪問極不穩定。本文提供一支純 Ruby 終端腳本,支援載入自定義模式目錄、命名捕獲、型別轉換(如 `:float`),完全離線、極速迭代。

腳本:`grokdebug.rb`

#!/usr/bin/env ruby
require 'rubygems'
gem 'jls-grok', '=0.11.0'
require 'grok-pure'
require 'optparse'
require 'awesome_print'

options = { dirs: ['patterns'], named: false }
ARGV.push('-h') if ARGV.empty?

OptionParser.new do |opts|
  opts.banner = 'Usage: grokdebug.rb [options]'
  opts.on('-d DIR1,DIR2', '--dirs DIR1,DIR2', Array, 'Grok patterns directories (default: ./patterns)') { |v| options[:dirs] = v }
  opts.on('-m MSG', '--msg MSG', 'Raw message to match') { |v| options[:message] = v }
  opts.on('-p PAT', '--pattern PAT', 'Grok pattern to compile') { |v| options[:pattern] = v }
  opts.on('-n', '--named', 'Named captures only') { options[:named] = true }
end.parse!

grok = Grok.new
options[:dirs].each do |dir|
  dir = File.join(dir, '*') if File.directory?(dir)
  Dir.glob(dir).each { |f| grok.add_patterns_from_file(f) }
end

grok.compile(options[:pattern], options[:named])
ap grok.match(options[:message]).captures

安裝依賴

gem install jls-grok awesome_print

使用範例

$ ruby grokdebug.rb -m 'abc123' -p '%{NUMBER:test}'
{
    "test" => ["123"],
    "BASE10NUM" => ["123"]
}

$ ruby grokdebug.rb -m 'abc123' -p '%{NUMBER:test:float}' -n
{
    "test" => [123.0]
}
  • -d 指定模式目錄(預設 `./patterns`),可放入官方 logstash-patterns-core。
  • -n 僅輸出命名捕獲,過濾內建基礎模式(如 `BASE10NUM`)。
  • 支援型別轉換:`%{NUMBER:field:int}`、`%{NUMBER:field:float}`、`%{TIMESTAMP_ISO8601:ts}` 等。

優於線上工具的優勢

  1. 完全離線,無牆網絡依賴。
  2. 版本更新快:腳本用 `jls-grok 0.11.0`,線上工具仍停留在 0.10.10,缺乏型別轉換。
  3. 可整合腳本化測試:配合 `bats`/`rspec` 寫回歸測試,保證 Grok 模式不退化。
  4. 輸出美觀:`awesome_print` 自動格式化 Hash/Array,結構一目瞭然。

進階:整合到專案測試流程

# RSpec 範例
RSpec.describe 'Grok patterns' do
  let(:grok) { Grok.new.tap { |g| g.add_patterns_from_file('patterns/myapp') } }

  it 'parses access log' do
    grok.compile('%{COMBINEDAPACHELOG}')
    match = grok.match('127.0.0.1 - - [10/Oct/2023:13:55:36 +0000] "GET / HTTP/1.1" 200 1234')
    expect(match.captures['clientip']).to eq(['127.0.0.1'])
  end
end

將 Grok 調試從瀏覽器搬到終端,再到自動化測試,是 Logstash/Elastic Stack 開發者的效率倍增器。

copyright © 萬盛學電腦網 all rights reserved