# Primeiros passos

**URL:** https://discuss.elastic.co/t/primeiros-passos/239525
**Category:** Elastic em Português - Brasil
**Created:** [July 1, 2020, 5:32pm UTC](https://discuss.elastic.co/t/primeiros-passos/239525 "2020-07-01T17:32:44Z")
**Posts on this page:** 16
**Page:** 1

<div class="post-metadata">

### Author: ![dicto](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dicto/32/71489_2.png) [@dicto](https://discuss.elastic.co/u/dicto)
#### Post date: [July 1, 2020, 5:32pm UTC](https://discuss.elastic.co/t/primeiros-passos/239525/1 "2020-07-01T17:32:44Z")

</div>

Boa tarde!

Por gentileza me tire uma dúvida de arquitetura do Elastic.

Quero alimentar uma base de dados na Elastic Cloud, estes dsdos eu consigo enviar via rest em Json ou conectandoba um BD e fazendo inserts de banco de dados.

Qual melhor caminho a seguir para eu alimentar minha conta da cloud com estes dados?

Entendo que para eu usar o Kibana tenho que ter o Elasticsearch sendo alimentado por alguma fonte de dados.

E é esta fonte de dados que ainda não entendi, pois vi que existe Logstash e o Beats.

Você pode me esclarecer esta dúvida por favor?  
Obrigado.

---

<div class="post-metadata">

### Author: ![thiago](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/thiago/32/32096_2.png) [@thiago](https://discuss.elastic.co/u/thiago)
#### Post date: [July 1, 2020, 5:50pm UTC](https://discuss.elastic.co/t/primeiros-passos/239525/2 "2020-07-01T17:50:37Z")

</div>

Olá Rodrigo,

Você consegue exportar estes dados para CSV ou NDJSON (registros em JSON separados por uma quebra de linha)?

Caso afirmativo, você pode usar o [Data Vizualizer do Kibana](https://www.elastic.co/guide/en/kibana/current/xpack-ml.html). Aqui tem um artigo explicando como faz: [Como importar dados de CSV e de log para o Elasticsearch com o File Data Visualizer](https://www.elastic.co/pt/blog/importing-csv-and-log-data-into-elasticsearch-with-file-data-visualizer)

Abs!

---

<div class="post-metadata">

### Author: ![dicto](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dicto/32/71489_2.png) [@dicto](https://discuss.elastic.co/u/dicto)
#### Post date: [July 1, 2020, 6:08pm UTC](https://discuss.elastic.co/t/primeiros-passos/239525/3 "2020-07-01T18:08:45Z")

</div>

Olá Thiago,

O problema é que tenho que automatizar este processo, por exemplo chamando uma Api Rest através de chamada Curl a partir do meu backend.

Transformar em csv manual não me atende.

---

<div class="post-metadata">

### Author: ![thiago](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/thiago/32/32096_2.png) [@thiago](https://discuss.elastic.co/u/thiago)
#### Post date: [July 1, 2020, 6:22pm UTC](https://discuss.elastic.co/t/primeiros-passos/239525/4 "2020-07-01T18:22:50Z")

</div>

Olá Rodrigo,

Perfeito! Achei que você queria carregar apenas uma vez para estudar os seus dados.

Nesse caso, existem várias formas de resolver o seu problema, a forma mais comum é utilizando o Logstash. Esse artigo aqui vai te ajudar [Como manter o Elasticsearch sincronizado com um banco de dados relacional usando o Logstash e o JDBC](https://www.elastic.co/pt/blog/how-to-keep-elasticsearch-synchronized-with-a-relational-database-using-logstash)

Abs!

---

<div class="post-metadata">

### Author: ![dicto](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dicto/32/71489_2.png) [@dicto](https://discuss.elastic.co/u/dicto)
#### Post date: [July 1, 2020, 6:32pm UTC](https://discuss.elastic.co/t/primeiros-passos/239525/5 "2020-07-01T18:32:10Z")

</div>

Vou dar uma olhada.

Mas de qualquer forma deixe me perguntar: existe alguma Api Rest para alimentar meu Elastic Cloud?

---

<div class="post-metadata">

### Author: ![thiago](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/thiago/32/32096_2.png) [@thiago](https://discuss.elastic.co/u/thiago)
#### Post date: [July 1, 2020, 6:39pm UTC](https://discuss.elastic.co/t/primeiros-passos/239525/6 "2020-07-01T18:39:33Z")

</div>

Certamente! O Elasticsearch é todo exposto via api rest. Veja a documentação sobre documentos [Documents API](https://www.elastic.co/guide/en/elasticsearch/reference/current/docs.html). Todavia eu recomendo que você estude um poucos os conceitos por de trás do Elasticsearch antes de se aventurar nas APIs: [What is Elasticsearch?](https://www.elastic.co/guide/en/elasticsearch/reference/current/elasticsearch-intro.html)

---

<div class="post-metadata">

### Author: ![dicto](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dicto/32/71489_2.png) [@dicto](https://discuss.elastic.co/u/dicto)
#### Post date: [July 1, 2020, 6:41pm UTC](https://discuss.elastic.co/t/primeiros-passos/239525/7 "2020-07-01T18:41:40Z")

</div>

Muito obrigado!

---

<div class="post-metadata">

### Author: ![dicto](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dicto/32/71489_2.png) [@dicto](https://discuss.elastic.co/u/dicto)
#### Post date: [July 2, 2020, 12:38am UTC](https://discuss.elastic.co/t/primeiros-passos/239525/8 "2020-07-02T00:38:35Z")

</div>

Olá Thiago!  
Criei uma conta no Elastic Cloud e já criei um cluster.

No post "Como manter o Elasticsearch sincronizado com um banco de dados relacional usando o Logstash e o JDBC" que você me enviou acima não me atende pois tenho um banco Mysql na nuvem e também quero alimentar o Logstash na nuvem, pelo que entendi este post seria para quem usa instalado.

Pergunta: é possível alimentar um pipeline do Logstash na nuvem com dados de um banco de dados Mysql na nuvem? Tenho o endpoint do banco, usuário e senha.

Obrigado.

---

<div class="post-metadata">

### Author: ![thiago](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/thiago/32/32096_2.png) [@thiago](https://discuss.elastic.co/u/thiago)
#### Post date: [July 2, 2020, 9:22am UTC](https://discuss.elastic.co/t/primeiros-passos/239525/9 "2020-07-02T09:22:53Z")

</div>

Olá Rodrigo,

O artigo que eu lhe passei ensina a configurar o Logstash independente da onde esteja instalado. Sendo instalado localmente ou na nuvem, desde que o Logstash tenha acesso ao MySQL, as instruções passadas no artigo ensinam como configurar qualquer tipo de instalação de Logstash (cloud, on-prem, etc) para que ele passe a sincronizar bases de dados com o Elasticsearch.

Se desejas rodar o Logstash em uma cloud/nuvem, instalei-o lá e configure-o como indicado no artigo.

Abs!

---

<div class="post-metadata">

### Author: ![dicto](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dicto/32/71489_2.png) [@dicto](https://discuss.elastic.co/u/dicto)
#### Post date: [July 2, 2020, 11:26am UTC](https://discuss.elastic.co/t/primeiros-passos/239525/10 "2020-07-02T11:26:43Z")

</div>

Olá Thiago,

agradeço pela sua atenção e paciência.  
duas perguntas:

1. Neste caso o jbdc e o java devem estar no meu servidor onde se encontra o banco mysql?

2. Outro assunto, eu posso alimentar meu elasticsearch diretamete pela api rest? ou sou obrigado a alimentar o Logstach ou beat?

obrigado.

---

<div class="post-metadata">

### Author: ![thiago](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/thiago/32/32096_2.png) [@thiago](https://discuss.elastic.co/u/thiago)
#### Post date: [July 2, 2020, 11:36am UTC](https://discuss.elastic.co/t/primeiros-passos/239525/11 "2020-07-02T11:36:32Z")

</div>

> [@dicto](#):
>
> Neste caso o jbdc e o java devem estar no meu servidor onde se encontra o banco mysql?

Não necessariamente, aliás, isso nem é recomendado. O Logstash pode acessar a base remotamente e o recomendado é que rode em um servidor dedicado a ele. (Não sei se foi bem isso que você perguntou, mas o java e jdbc precisam estar no mesmo servidor que o Logstash)

> [@dicto](#):
>
> Outro assunto, eu posso alimentar meu elasticsearch diretamete pela api rest? ou sou obrigado a alimentar o Logstach ou beat?

Certamente. Você não é obrigado a usar Logstash ou nenhum beats. No final das contas, o que estes componentes fazem é acessar a api rest do Elasticsearch, então você está livre para usar o que quiser. Todavia se utilizar algo diferente para alimentar o Elasticsearch, não vai conseguir ter muita ajuda nossa ou da comunidade Elastic (por se tratar de algo desconhecido por aqui). Minha recomendação é que tente resolver com Logstash.

---

<div class="post-metadata">

### Author: ![dicto](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dicto/32/71489_2.png) [@dicto](https://discuss.elastic.co/u/dicto)
#### Post date: [July 2, 2020, 11:56am UTC](https://discuss.elastic.co/t/primeiros-passos/239525/12 "2020-07-02T11:56:34Z")

</div>

Certo Thiago,

Mas se eu estou usando uma conta Elastic Cloud, o Logstash está na nuvem da Elastic, correto?

Este Logstash possui o jbdc e o java instalados?

Na configuraçao do pipeline ele pede um "path" para o Jdbc.

Qual seria?

Obrigado

---

<div class="post-metadata">

### Author: ![thiago](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/thiago/32/32096_2.png) [@thiago](https://discuss.elastic.co/u/thiago)
#### Post date: [July 2, 2020, 12:07pm UTC](https://discuss.elastic.co/t/primeiros-passos/239525/13 "2020-07-02T12:07:21Z")

</div>

> [@dicto](#):
>
> Mas se eu estou usando uma conta Elastic Cloud, o Logstash está na nuvem da Elastic, correto?

Infelizmente não. A Elastic Cloud não roda Logstash (é apenas para Elasticsearch e Kibana). Você precisaria executar o Logstash em outro provedor.

> [@dicto](#):
>
> Este Logstash possui o jbdc e o java instalados?

Não. Tanto Java quanto o driver JDBC precisam ser instalados a parte. Siga as instruções na [documentação do Logstash](https://www.elastic.co/guide/en/logstash/current/getting-started-with-logstash.html) para mais informações sobre o Java. Já o JDBC, você precisa obter o driver no site do fornecedor (no caso, no site do MySQL).

> [@dicto](#):
>
> Na configuraçao do pipeline ele pede um "path" para o Jdbc.
> 
> Qual seria?

Este seria o path do driver JDBC assim que você baixar do site do MySQL. Você precisar apontar o `path` para um arquivo de extensão `jar` obtido do site.

---

<div class="post-metadata">

### Author: ![dicto](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dicto/32/71489_2.png) [@dicto](https://discuss.elastic.co/u/dicto)
#### Post date: [July 2, 2020, 1:17pm UTC](https://discuss.elastic.co/t/primeiros-passos/239525/14 "2020-07-02T13:17:18Z")

</div>

Legal Thiago,

Está sendo esclarecedor.  
Então vou partir para alimentar o Elasticsearch diretamente pela APi Rest, vou executar chamadas Curl pelo backend para carregar os dados em json.

Por enquanto vou estudar a API, caso tenha alguma dúvida posso lhe acionar?

Obrigado.  
Rodrigo.

---

<div class="post-metadata">

### Author: ![thiago](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/thiago/32/32096_2.png) [@thiago](https://discuss.elastic.co/u/thiago)
#### Post date: [July 2, 2020, 1:29pm UTC](https://discuss.elastic.co/t/primeiros-passos/239525/15 "2020-07-02T13:29:39Z")

</div>

> [@dicto](#):
>
> Está sendo esclarecedor.

Que ótimo! Fico feliz em ajudar 🙂.

> [@dicto](#):
>
> Então vou partir para alimentar o Elasticsearch diretamente pela APi Rest, vou executar chamadas Curl pelo backend para carregar os dados em json.

Certamente funciona! Mas recomendo fortemente que use o Logstash pois é robusto, muito bem testado e tem uma comunidade muito bem estabelecida.

> [@dicto](#):
>
> Por enquanto vou estudar a API, caso tenha alguma dúvida posso lhe acionar?

Para qualquer dúvida, sempre poderá abrir um tópico aqui no fórum. Não há necessidade de me marcar diretamente no tópico pois outros engenheiros também respondem aqui.

Abs!

---

<div class="post-metadata">

### Author: ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)
#### Post date: [November 4, 2022, 8:04am UTC](https://discuss.elastic.co/t/primeiros-passos/239525/16 "2022-11-04T08:04:42Z")

</div>


