Is there any bug counting lines of csv file when importing data through logstash to elastic?
I have a csv file with 1000 lines and 200 columns. Some of the columns have missing values and logstash is importing more lines that there is in csv file.
Is there anyone with the same problem?
My conf file is:
input {
file{
path => "D:\Users\afonso.ribeiro\Desktop\data.csv"
start_position => "beginning"
sincedb_path => "dev/null"
codec => plain { charset => "Windows-1252" }
}
}
filter{
csv{
separator => ","
columns => ["Lead","Produto","Preço Referência","Canal","Sub Origem","Campanha","Sector","Area Intervencao","Concelho","PPEC?","Bundle?","Bundle","Consumo","GO","PS","PS Colaborador","Gestor Obra","Resp Accao","Fase Actual","Data Fase Actual","Estado Actual","Data Estado Actual","SLA?","NIF","Segmento Cliente","Venda Solar","Nome Cliente","Morada Instalacao","Telefone","Email","Rating Coface","CAE","Divida EDP?","CPE","Gestor Cliente EDPC","Gestor Servico EDPC","Data Visita Tecnica","SMSVT?","Data Instalacao","SMSInstalacao?","Manutenção?","Renovacao?","Periodicidade","Prazo","Data Inicio Manutencao","Data Fim Manutencao","Preco Custo","Preco Equipamento","Perc Equipamento","Preco Serviço","Perc Serviço","Preço Venda","Economia Anual kWh","Economia Anual Euro","Economia Mensal","Retorno Investimento","Financiamento?","Prazo Financiamento","Invest Cliente","Mensalidade","Tot Custo Cap","Preco Medio kWh","Prazo Instalacao","Margem Sem Custo Capital","Margem Com Custo Capital","Preco Venda Total","Financiamento PPEC","Perc Financiamento PPEC","Cliente PPEC","Perc Cliente PPEC","Extra PPEC","Perc Extra PPEC","Total Cliente","Prov EDPS","Custos Internos","Minimis","Data Pedido Minimis","Atos Validados?","GO Avanca Obra?","Envia PS?","PS Avanca Obra?","Resp Follow Up","Adjudicacao?","Datevendas","Revisao Proposta?","Datesimulacoes","Data Fim AB Aberto","AB Aberto User","Data Inicio AB Validacao","Data Fim AB Validacao","AB Validacao User","Data Inicio AB Fechado","Data Fim AB Fechado","AB Fechado User","Data Inicio AB Cancelado","Data Fim AB Cancelado","AB Cancelado User","Data Inicio QA Agendar","Data Fim QA Agendar","QA Agendar User","Data Inicio QA Re Agendar","Data Fim QA Re Agendar","QA Re Agendar User","Data Inicio QA Agendado","Data Fim QA Agendado","QA Agendado User","Data Inicio QA Re Agendado","Data Fim QA Re Agendado","QA Re Agendado User","Data Inicio SO Elab Proposta","Data Fim SO Elab Proposta","SO Elab Proposta User","Data Inicio SO Rev Proposta","Data Fim SO Rev Proposta","SO Rev Proposta User","Data Inicio SO Validacao","Data Fim SO Validacao","SO Validacao User","Data Inicio SO Fechado","Data Fim SO Fechado","SO Fechado User","Data Inicio SO Enviar Proposta","Data Fim SO Enviar Proposta","SO Enviar Proposta User","Data Inicio PO Follow Up","Data Fim PO Follow Up","PO Follow Up User","Data Inicio PO Nao Aceite","Data Fim PO Nao Aceite","PO Nao Aceite User","Data Inicio PO Fechado","Data Fim PO Fechado","PO Fechado User","Data Inicio PO Perdido","Data Fim PO Perdido","PO Perdido User","Data Inicio PO Aceite Valid","Data Fim PO Aceite Valid","PO Aceite Valid User","Data Inicio PO Aceite CA","Data Fim PO Aceite CA","PO Aceite CA User","Data Inicio AD Adjudicado","Data Fim AD Adjudicado","AD Adjudicado User","Data Inicio AD Validacao","Data Fim AD Validacao","AD Validacao User","Data Inicio AD Rev QS","Data Fim AD Rev QS","AD Rev QS User","Data Inicio EX Pre Enc","Data Fim EX Pre Enc","EX Pre Enc User","Data Inicio EX Enc Incompleta","Data Fim EX Enc Incompleta","EX Enc Incompleta User","Data Inicio EX Agendar","Data Fim EX Agendar","EX Agendar User","Data Inicio EX Re Agendar","Data Fim EX Re Agendar","EX Re Agendar User","Data Inicio EX Agendado","Data Fim EX Agendado","EX Agendado User","Data Inicio EX Re Agendado","Data Fim EX Re Agendado","EX Re Agendado User","Data Inicio EX Inst Fora SLA","Data Fim EX Inst Fora SLA","EX Inst Fora SLA User","Data Inicio EX Validacao","Data Fim EX Validacao","EX Validacao User","Data Inicio EX Execucao","Data Fim EX Execucao","EX Execucao User","Data Inicio EX Obra Concluida","Data Fim EX Obra Concluida","EX Obra Concluida User","Data Inicio EX Concluido","Data Fim EX Concluido","EX Concluido User","Data Inicio EX Drop","Data Fim EX Drop","EX Drop User","Data Encomenda PS 1","Nr Encomenda PS 1","Valor Encomenda PS 1","Data Encomenda PS 2","Nr Encomenda PS 2","Valor Encomenda PS 2","Data Encomenda PS 3","Nr Encomenda PS 3","Valor Encomenda PS 3","Data Encomenda PS 4","Nr Encomenda PS 4","Valor Encomenda PS 4","Data Encomenda PS 5","Nr Encomenda PS 5","Valor Encomenda PS 5","Data Encomenda Forn 1","Nr Encomenda Forn 1","Valor Encomenda Forn 1","Data Encomenda Forn 2","Nr Encomenda Forn 2","Valor Encomenda Forn 2","Data Encomenda Forn 3","Nr Encomenda Forn 3","Valor Encomenda Forn 3","Data Encomenda Forn 4","Nr Encomenda Forn 4","Valor Encomenda Forn 4","Data Encomenda Forn 5","Nr Encomenda Forn 5","Valor Encomenda Forn 5","Mobilidade - Tarifário","Mobilidade - Charger 2Move?","Mobilidade - 1Ano Electricidade?","Mobilidade - Redy?","Mobilidade - Matricula","Mobilidade - Marca","Mobilidade - BMW?","Mobilidade - Volkswagen?","Mobilidade - Mercedes?","Mobilidade - Mitsubishi?","Mobilidade - Nissan?","Mobilidade - Opel?","Mobilidade - Peugeot?","Mobilidade - Renault?","Úlltima Interação","Data do próximo contacto","Solar Autoconsumo - Sistema","Solar Autoconsumo - Tamanho","Solar Autoconsumo - Enquadramento legal","Solar Autoconsumo - Internet","Solar Autoconsumo - Tarifa Eletricidade","Solar Autoconsumo - Fatura Eletricidade","Solar Autoconsumo - Pessoas Casa Semana","Solar Autoconsumo - Pessoas Casa Fim Semana","Solar Autoconsumo - Semana Fora Casa","Solar Autoconsumo - Fonte Energia Águas","Solar Autoconsumo Estado","Solar Autoconsumo Num Processo Interno Enterprise","Solar Autoconsumo Data Activacao","Solar Autoconsumo Num Servico P 16","Solar Autoconsumo Tipo Oferta","Solar Autoconsumo Necessita Pagamento","Solar Autoconsumo Pago","Solar Autoconsumo Utilizador SERUP","Solar Autoconsumo Password SERUP","Solar Autoconsumo Data Registo SERUP","Solar Autoconsumo Numero Cadastro SERUP","Informações gerais enviadas?","Informações gerais enviadas - Data","Informacoes Gerais Enviadas Por","Informações gerais enviadas - Data Recente","Informacoes Gerais Enviadas Por Recente","Contactar novamente?","Contactar novamente - Data","Contactar novamente - Data Recente","Não atendeu?"]
}
}
output {
stdout { codec => json_lines }
elasticsearch{
hosts => "localhost:9200"
user => "elastic"
password => "changeme"
index => "bd_enterprise"
}
}