# Загрузка файлов с помощью Ingest attachment plugin

**URL:** <https://discuss.elastic.co/t/ingest-attachment-plugin/279297>\
**Category:** Вопросы на русском языке\
**Created:** [July 21, 2021, 5:43pm UTC](https://discuss.elastic.co/t/ingest-attachment-plugin/279297 "2021-07-21T17:43:07Z")\
**Posts on this page:** 11\
**Page:** 1

<div class="post-metadata">

**Author:** ![Jenya87](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/jenya87/32/54012_2.png) [@Jenya87](https://discuss.elastic.co/u/Jenya87)\
**Post date:** [July 21, 2021, 5:43pm UTC](https://discuss.elastic.co/t/ingest-attachment-plugin/279297/1 "2021-07-21T17:43:07Z")

</div>

Доброго времени суток.

Использую версию ES 7.13 на Centos 7 + Ingest attachment плагин.

Вопрос такой: возможно ли используя данный плагин брать файлы с сетевой папки windows, вытягивать из них текст (файлы .doc, .docx и .pdf) и складывать в индекс Эластика?

При том, чтобы при появлении новых файлов в сетевой директории они автоматом залетали в мой индекс?

Спасибо.

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [July 21, 2021, 6:16pm UTC](https://discuss.elastic.co/t/ingest-attachment-plugin/279297/2 "2021-07-21T18:16:18Z")

</div>

[ingest attachment plugin](https://www.elastic.co/guide/en/elasticsearch/plugins/current/using-ingest-attachment.html) не загружает сам файлы - он только вытаскивает из них текст для индексирования. Кто-то должен будет эту директорию регулярно сканировать, отслеживать изменения и эти файлы в elasticsearch посылать. Если хотите написать сами - то в документации есть пример того, как посылать файлы в elasticsearch. Если время дорого - то есть продукт, который этим и многим другим занимается - [Elastic Enterprise Search | Elastic](https://www.elastic.co/enterprise-search).

---

<div class="post-metadata">

**Author:** ![Jenya87](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/jenya87/32/54012_2.png) [@Jenya87](https://discuss.elastic.co/u/Jenya87)\
**Post date:** [July 21, 2021, 6:56pm UTC](https://discuss.elastic.co/t/ingest-attachment-plugin/279297/3 "2021-07-21T18:56:19Z")

</div>

Спасибо за ответ. Время пока терпит.

Вы говорите, что в документации есть пример, как посылать файлы в ES, можно пожалуйста по конкретнее? Вы имеете ввиду logstash? Он такое умеет?

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [July 21, 2021, 7:12pm UTC](https://discuss.elastic.co/t/ingest-attachment-plugin/279297/4 "2021-07-21T19:12:57Z")

</div>

> **[Using the Attachment Processor in a Pipeline | Elasticsearch Plugins and...](https://www.elastic.co/guide/en/elasticsearch/plugins/current/using-ingest-attachment.html#ingest-attachment-json-ex)**

---

<div class="post-metadata">

**Author:** ![Jenya87](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/jenya87/32/54012_2.png) [@Jenya87](https://discuss.elastic.co/u/Jenya87)\
**Post date:** [July 21, 2021, 7:24pm UTC](https://discuss.elastic.co/t/ingest-attachment-plugin/279297/5 "2021-07-21T19:24:22Z")

</div>

Спасибо за информацию. А logstash всё-таки стоит рассматривать для моей задачи?

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [July 21, 2021, 7:42pm UTC](https://discuss.elastic.co/t/ingest-attachment-plugin/279297/6 "2021-07-21T19:42:14Z")

</div>

Logstash можно заставить это делать, но он больше предназначен для чтения файлов по строкам, а не целиком - так что придется с ним повоевать немного.

---

<div class="post-metadata">

**Author:** ![Jenya87](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/jenya87/32/54012_2.png) [@Jenya87](https://discuss.elastic.co/u/Jenya87)\
**Post date:** [July 22, 2021, 12:26pm UTC](https://discuss.elastic.co/t/ingest-attachment-plugin/279297/7 "2021-07-22T12:26:26Z")

</div>

Как именно повоевать?

Хотелось бы просто использовать logstash, тк он позволяет настроить автоматизацию по расписанию.

На форуме нашёл [тему](https://discuss.elastic.co/t/pipeline-to-ingest-data-from-multiple-files-in-a-folder-not-responsive/124167), там человек похоже хочет того же, что и я. Это правильный путь?

Прошу ещё Вас подсказать, как настраивается лог ошибок в logstash на windows, тк пытаюсь применить конфиг, используемый в статье по ссылке и оно не пашет.

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [July 22, 2021, 9:07pm UTC](https://discuss.elastic.co/t/ingest-attachment-plugin/279297/8 "2021-07-22T21:07:05Z")

</div>

> [@Jenya87](#):
>
> там человек похоже хочет того же, что и я.

Не совсем. Там человек читает файлы построчно, то есть делает то, на что logstash был рассчитан, вы хотите их заглатывать целиком. Я думаю, у человека все бы заработало, если бы путь был указан верно (`/` вместо `\` и нормальный путь в `sincedb_path`), но для вас это только начало.

> [@Jenya87](#):
>
> просто использовать logstash

"Просто", к сожалению, не получится. logstash - это средство для сборки и обработки логов, а не индексации документов из сетевых папок. Можно перехитрить [multiline codec](https://www.elastic.co/guide/en/logstash/current/plugins-codecs-multiline.html) и заставить его читать весь файл целиком, как [тут](https://stackoverflow.com/a/32875939) показано, но это только начало. Во-первых, я не думаю, что кто-то logstash в таком режиме кто-то тестировал, так что возможны баги и проблемы с кодировками. Во-вторых, считывание измененных файлов на сетевых файловых системах - тоже задача забавная из-за кэширования на клиенте. Может заработать, может не заработать, а может сначала заработать а [потом сломаться](https://github.com/elastic/logstash/issues/3771). Я в logstash - не эксперт, на Windows я давно не работал, поэтому сказать будет ли это работать и помочь вам с ошибками, скорее всего, не смогу, да и времени у меня столько нет, чтобы с этим разбираться.

> [@Jenya87](#):
>
> Прошу ещё Вас подсказать, как настраивается лог ошибок в logstash на windows

Вот тут этот вопрос обсуждается -

> [@Logstash's log files in Windows](https://discuss.elastic.co/t/logstashs-log-files-in-windows/51330):
>
> Where are the logstash log files in Windows?

Но, я бы начал с запуска из [командной строки](https://www.elastic.co/guide/en/logstash/current/running-logstash-windows.html#running-logstash-windows-manual), пока вы конфигурацию отлаживаете. В этом режиме все ошибки сразу на экран выводятся - гораздо быстрее разбираться.

---

<div class="post-metadata">

**Author:** ![Jenya87](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/jenya87/32/54012_2.png) [@Jenya87](https://discuss.elastic.co/u/Jenya87)\
**Post date:** [July 23, 2021, 6:41pm UTC](https://discuss.elastic.co/t/ingest-attachment-plugin/279297/9 "2021-07-23T18:41:48Z")

</div>

Спасибо огромное за подробнейший ответ и за Ваше время.

Вы пожалуй правы, что хотеть от logstash того, для чего он не предназначен, всё же неправильно.

Нашёл на форуме такую [тему](https://discuss.elastic.co/t/how-to-use-ocr-in-elasticsearch-ingest-attachment-plugin/263007). Там человек хочет гнать в эластик pdf, и тот продукт, который ему посоветовали, кажись умеет это делать и притом слушает новые файлы. Сам правда не разбирался ещё, но хоть затеплилась надежда.

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [July 26, 2021, 5:11pm UTC](https://discuss.elastic.co/t/ingest-attachment-plugin/279297/10 "2021-07-26T17:11:53Z")

</div>

@dadoonet обычно дело говорит 🙂 ему можно доверять.

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [August 23, 2021, 5:11pm UTC](https://discuss.elastic.co/t/ingest-attachment-plugin/279297/11 "2021-08-23T17:11:59Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.
