# Фильтрация входного файла с использованием информации из другого входного файла

**URL:** <https://discuss.elastic.co/t/topic/163724>\
**Category:** Вопросы на русском языке\
**Created:** [January 10, 2019, 11:37am UTC](https://discuss.elastic.co/t/topic/163724 "2019-01-10T11:37:22Z")\
**Posts on this page:** 7\
**Page:** 1

<div class="post-metadata">

**Author:** ![slapp](https://avatars.discourse-cdn.com/v4/letter/s/cab0a1/32.png) [@slapp](https://discuss.elastic.co/u/slapp)\
**Post date:** [January 10, 2019, 11:37am UTC](https://discuss.elastic.co/t/topic/163724/1 "2019-01-10T11:37:23Z")

</div>

Добрый день!

Развернул на ELK мониторинг DNS. Заметил, что накапливается большое количество записей рекламных доменов и доменов метрики яндекс и гугл. Решил отфильтровать все записи с помощью списка таких доменов из текстового файла.  
**Вопрос:** можно ли как то сравнить в logstash два входных файла, один из которых является файлом лога DNS-сервера, а второй файл со списком рекламных доменов, и в новый индекс записать отфильтрованные данные, при этом оставив и старый индекс с полными данными?

Заранее спасибо)

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [January 10, 2019, 2:35pm UTC](https://discuss.elastic.co/t/topic/163724/2 "2019-01-10T14:35:29Z")

</div>

> [@slapp](#):
>
> Решил отфильтровать все записи с помощью списка таких доменов из текстового файла.

A сколько записей в этом списке?

---

<div class="post-metadata">

**Author:** ![slapp](https://avatars.discourse-cdn.com/v4/letter/s/cab0a1/32.png) [@slapp](https://discuss.elastic.co/u/slapp)\
**Post date:** [January 11, 2019, 5:25am UTC](https://discuss.elastic.co/t/topic/163724/3 "2019-01-11T05:25:45Z")

</div>

Около 3 тысяч, но если количество принципиально, могу и сократить его до, например, 100 самых назойливых доменов  
Я так понимаю, такое сравнение/фильтрацию можно только через руби плагин сделать?

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [January 11, 2019, 2:57pm UTC](https://discuss.elastic.co/t/topic/163724/4 "2019-01-11T14:57:28Z")

</div>

Можно воспользоваться [reindex api](https://www.elastic.co/guide/en/elasticsearch/reference/6.6/docs-reindex.html) с фильтром [terms](https://www.elastic.co/guide/en/elasticsearch/reference/6.6/query-dsl-terms-query.html) завернутым в [must\_not](https://www.elastic.co/guide/en/elasticsearch/reference/6.6/query-dsl-bool-query.html)

---

<div class="post-metadata">

**Author:** ![slapp](https://avatars.discourse-cdn.com/v4/letter/s/cab0a1/32.png) [@slapp](https://discuss.elastic.co/u/slapp)\
**Post date:** [January 16, 2019, 11:58am UTC](https://discuss.elastic.co/t/topic/163724/5 "2019-01-16T11:58:36Z")

</div>

Спасибо! Использовал terms c must\_not, только в [aliases](https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-aliases.html#indices-aliases). Мне нужно было, чтобы в новом индексе данные динамически обновлялись.

Может кому пригодится. Тут фильтр из двух термов, походу их можно добавлять сколько угодно через запятую.

```
POST /_aliases
     {
       "actions": [
         {
           "add": {
             "index": "dns-*",
             "alias": "filter",
             "filter": {
               "bool": {
                 "must_not": {
                   "terms": { "Query": ["mc.yandex.ru","yandex.ru"] }
                }
               }
             }
           }
         }
       ]
     }
```

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [January 16, 2019, 10:21pm UTC](https://discuss.elastic.co/t/topic/163724/6 "2019-01-16T22:21:58Z")

</div>

> [@slapp](#):
>
> походу их можно добавлять сколько угодно через запятую.

"сколько угодно" - это небольшое преувеличение 🙂

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [February 13, 2019, 10:22pm UTC](https://discuss.elastic.co/t/topic/163724/7 "2019-02-13T22:22:06Z")

</div>

Closed on February 13, 2019, 10:22pm UTC

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.