Logstash pipeline에 복수개의 conf가 있는 경우 여러 인덱스에 모두 쌓이는 현상

Elastic In Your Native Tongue 한국어 질문 및 토론
1

안녕하세요.
logstash에 아래와 같이 복수개의 설정을 등록하고 AAAA.json에 데이터를 넣으면 AAAA 인덱스와 BBBB 인덱스 모두에게 AAAA.json 데이터가 쌓입니다.
왜 이런걸까요?

[pipelines.yml]

- pipeline.id: AAAA
  path.config: "/etc/logstash/conf.d/AAAA.conf"
  queue.type: persisted
- pipeline.id: BBBB
  path.config: "/etc/logstash/conf.d/BBBB.conf"
  queue.type: persisted

[AAAA.conf]

input {
    stdin {
        codec => json
    }
    file {
        codec => json
        path => "AAAA.json"
        start_position => "beginning"
        sincedb_path => "NUL"
    }
}

output {
    elasticsearch {
        hosts => "localhost"
        index => "AAAA"
    }
    stdout {}
}

[BBBB.conf]

input {
    stdin {
        codec => json
    }
    file {
        codec => json
        path => "BBBB.json"
        start_position => "beginning"
        sincedb_path => "NUL"
    }
}

output {
    elasticsearch {
        hosts => "localhost"
        index => "BBBB"
    }
    stdout {}
}
2

stdin 은 특별히 하신 이유가 있으신건가요?

보통은 구분되어 쌓이는게 맞습니다. persistent queue 에서 꼬인 것일지도 모르겠는데 그럼 로그스태시 버그일 수 있겠네요.

3

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.