Codec Multiline Patterns doesn`t work

Elastic Stack Logstash
1

Hi, there

I'm trying to use the codec multiline in my input, because some lines of my file csv come like this:

2019052238000853;RES: DADOS PARA O CADASTRO DO ELAW;2019-05-22 09:48:08;2019-05-22 10:06:05;;Consultores;new;leandro.coelho@viavarejo.com.br;Via Varejo;ADM::CRIAÇÃO DE USUÁRIO;SLA - Medio;Ajuste/Correção em Configurações;rogerio.owsiany;0;2;Leliana Souza;;Sem atuação;;Sem atuação;"Criar acesso para
NOME
CPF
E-MAIL
Larissa Santana Garcia
094.350.614-00
larissa.garcia@wsb.adv.br
Maria das Dores Alves de Menezes
107.243.164-50
maria.menezes@wsb.adv.br
Ana Luiza Lacerda Cunha
089.140.404-02
ana.lacerda@wsb.adv.br
Ana Caroline Araújo de Andrade
700.856.754-58
ana.araujo@wsb.adv.br";Não;

A right one is like this:

2019052238000862;CONTRATO: Definir responsável pelo contrato - null;2019-05-22 09:48:11;2019-05-22 10:10:01;2019-05-22 10:10:01;Junk;closed successful;minerva@elaw.com.br;minerva@elaw.com.br;;;Não Classificado;root@localhost;21;1;;;;;;;Não;

No line breaks.

My codec multiline patterns:

codec => multiline {
pattern => "[1]{16};(?:.);;[\r\n|\r\n|\r|\n| |
]$|[2]{16};(?:.);Não;[\r\n|\r\n|\r|\n| |
]$|[3]{16};(?:.);Sim;[\r\n|\r\n|\r|\n| |
]$|[4]{16};(?:.);;$|[5]{16};(?:.);Não;$|[6]{16};(?:.);Sim;$"
negate => true
what => "next"
multiline_tag => "multiline"
charset => "UTF-8"
}

I tried to put every possible finals for the right line, even literally the line break.

but my "message" is comming like this:

2019052238000853;RES: DADOS PARA O CADASTRO DO ELAW;2019-05-22 09:48:08;2019-05-22 10:06:05;;Consultores;new;leandro.coelho@viavarejo.com.br;Via Varejo;ADM::CRIAÇÃO DE USUÁRIO;SLA - Medio;Ajuste/Correção em Configurações;rogerio.owsiany;0;2;Leliana Souza;;Sem atuação;;Sem atuação;"Criar acesso para
NOME
CPF
E-MAIL
Larissa Santana Garcia
094.350.614-00
larissa.garcia@wsb.adv.br
Maria das Dores Alves de Menezes
107.243.164-50
maria.menezes@wsb.adv.br
Ana Luiza Lacerda Cunha
089.140.404-02
ana.lacerda@wsb.adv.br
Ana Caroline Araújo de Andrade
700.856.754-58
ana.araujo@wsb.adv.br";Não;
2019052238000844;RES: Erro Sistema Elaw;2019-05-22 09:48:07;2019-05-22 10:05:23;2019-05-22 10:05:23;Suporte;closed successful;Fernanda.Cardoso@walmart.com;Walmart;AMBIENTES::QUEDA DO AMBIENTE;SLA - Alto;Duvida;leliana.souza;17;2;Leliana Souza;;Sem atuação;;Sem atuação;Queda ambiente;Não;

The final of event is "ana.araujo@wsb.adv.br";Não;", but it's matching with next line.

Am I doing something wrorg?

Thanks.

  1. 0-9 ↩︎

  2. 0-9 ↩︎

  3. 0-9 ↩︎

  4. 0-9 ↩︎

  5. 0-9 ↩︎

  6. 0-9 ↩︎

2

Do you have a possibility to flatten your file before processing?

3

No... I have to render the CSV as it comes

4

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.