# Как отображать в выдаче только дубликаты - аггрегация, поиск дубликатов

**URL:** <https://discuss.elastic.co/t/topic/269874>\
**Category:** Вопросы на русском языке\
**Created:** [April 12, 2021, 12:02pm UTC](https://discuss.elastic.co/t/topic/269874 "2021-04-12T12:02:28Z")\
**Posts on this page:** 11\
**Page:** 1

<div class="post-metadata">

**Author:** ![Sergei\_Frolov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/sergei_frolov/32/47922_2.png) [@Sergei\_Frolov](https://discuss.elastic.co/u/Sergei_Frolov)\
**Post date:** [April 12, 2021, 12:02pm UTC](https://discuss.elastic.co/t/topic/269874/1 "2021-04-12T12:02:28Z")

</div>

Добрый день!

Выполняю аггрегацию для поиска дублей:

```auto
GET app_log-*/_search
{
  "size": 0,
  "aggs": {
    "duplicateCount": {
      "terms": {
        "field": "context.id",
        "min_doc_count": 2
      },
      "aggs": {
        "duplicateDocuments": {
          "top_hits": {}
        }
      }
    }
  }
}

```

Она срабатывает, но дубли находятся только в первой/первых записи/записях. Далее идут похоже все записи, в которых просто есть поле context.id.

то есть я вижу

```auto
"hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },

```

но в действительности там в лучшем случае будет только одна такая запись, и она и присутствует в выдаче в самом верху.

Скажите, как сделать так, чтобы в выдаче были только записи в которых нашлись дубликаты?

Версия: 7.11.2

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [April 12, 2021, 3:14pm UTC](https://discuss.elastic.co/t/topic/269874/2 "2021-04-12T15:14:50Z")

</div>

Не понял вопрос.

---

<div class="post-metadata">

**Author:** ![Sergei\_Frolov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/sergei_frolov/32/47922_2.png) [@Sergei\_Frolov](https://discuss.elastic.co/u/Sergei_Frolov)\
**Post date:** [April 12, 2021, 3:38pm UTC](https://discuss.elastic.co/t/topic/269874/3 "2021-04-12T15:38:31Z")

</div>

Игорь, в индексе присутствуют документы-дубли. Нужно их найти. Я ищу их по полю context.id вот таким запросом:

```auto
GET app_log-*/_search
{
  "size": 0,
  "aggs": {
    "duplicateCount": {
      "terms": {
        "field": "context.id",
        "min_doc_count": 2
      },
      "aggs": {
        "duplicateDocuments": {
          "top_hits": {}
        }
      }
    }
  }
}

```

по идее, он должен выдавать только документы, в которых есть дубли. Но он выдает похоже все документы, в которых есть поле context.id.

В выдаче из всех документов только самый первый, если взять его значение и провести по нему поиск - имеет дубли. Все остальные при поиске по ним - появляются в выдаче только 1 раз.

Как правильно сделать поиск дублей? Поле context имеет тип flattened - соответственно все поля вложенные в него - имеют тип keyword.

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [April 12, 2021, 4:13pm UTC](https://discuss.elastic.co/t/topic/269874/4 "2021-04-12T16:13:55Z")

</div>

Все-равно не понимаю, вы не могли бы пояснить на этом примере, что не работает:

```auto
DELETE test

PUT test
{
  "settings": {
    "number_of_shards": 3
  }, 
  "mappings": {
    "properties": {
      "name": {
        "type": "keyword"
      }
    }
  }
}

POST /test/_bulk?refresh
{"index":{"_id":1}}
{"name": "foo"}
{"index":{"_id":2}}
{"name": "foo"}
{"index":{"_id":3}}
{"name": "foo"}
{"index":{"_id":4}}
{"name": "bar"}
{"index":{"_id":5}}
{"name": "bar"}
{"index":{"_id":6}}
{"name": "baz"}
{"index":{"_id":7}}
{"name": "abc"}
{"index":{"_id":8}}
{"name": "xyz"}

GET test/_search
{
  "size": 0,
  "aggs": {
    "duplicateCount": {
      "terms": {
        "field": "name",
        "min_doc_count": 2
      },
      "aggs": {
        "duplicateDocuments": {
          "top_hits": {}
        }
      }
    }
  }
}

```

---

<div class="post-metadata">

**Author:** ![Sergei\_Frolov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/sergei_frolov/32/47922_2.png) [@Sergei\_Frolov](https://discuss.elastic.co/u/Sergei_Frolov)\
**Post date:** [April 12, 2021, 5:08pm UTC](https://discuss.elastic.co/t/topic/269874/5 "2021-04-12T17:08:03Z")

</div>

Игорь, Ваша аггрегация срабатывает:

```auto
{
  "took" : 7,
  "timed_out" : false,
  "_shards" : {
    "total" : 7,
    "successful" : 7,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : []
  },
  "aggregations" : {
    "duplicateCount" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "foo",
          "doc_count" : 3,
          "duplicateDocuments" : {
            "hits" : {
              "total" : {
                "value" : 3,
                "relation" : "eq"
              },
              "max_score" : 1.0,
              "hits" : [
                {
                  "_index" : "test",
                  "_type" : "_doc",
                  "_id" : "3",
                  "_score" : 1.0,
                  "_source" : {
                    "name" : "foo"
                  }
                },
                {
                  "_index" : "test",
                  "_type" : "_doc",
                  "_id" : "2",
                  "_score" : 1.0,
                  "_source" : {
                    "name" : "foo"
                  }
                },
                {
                  "_index" : "test",
                  "_type" : "_doc",
                  "_id" : "1",
                  "_score" : 1.0,
                  "_source" : {
                    "name" : "foo"
                  }
                }
              ]
            }
          }
        },
        {
          "key" : "bar",
          "doc_count" : 2,
          "duplicateDocuments" : {
            "hits" : {
              "total" : {
                "value" : 2,
                "relation" : "eq"
              },
              "max_score" : 1.0,
              "hits" : [
                {
                  "_index" : "test",
                  "_type" : "_doc",
                  "_id" : "4",
                  "_score" : 1.0,
                  "_source" : {
                    "name" : "bar"
                  }
                },
                {
                  "_index" : "test",
                  "_type" : "_doc",
                  "_id" : "5",
                  "_score" : 1.0,
                  "_source" : {
                    "name" : "bar"
                  }
                }
              ]
            }
          }
        }
      ]
    }
  }
}

```

в выводе есть поля

```auto
  "aggregations" : {
    "duplicateCount" : {

```

но когда я запускаю свою таким образом:

```auto
GET app_log-*/_search
{
  "size": 0,
  "aggs": {
    "duplicateCount": {
      "terms": {
        "field": "context.id",
        "min_doc_count": 2
      },
      "aggs": {
        "duplicateDocuments": {
          "top_hits": {}
        }
      }
    }
  }
}

```

в полученном выводе не вижу aggregations и duplicateCount - а только:

```auto
{
  "took" : 296,
  "timed_out" : false,
  "_shards" : {
    "total" : 70,
    "successful" : 70,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "app_log-2021.04.05-000329",
        "_type" : "_doc",
        "_id" : "0ZIlongBetiulgqT-mT2",
        "_score" : 1.0,
        "_source" : {
        ......

```

и далее все документы из индекса.

возможно ли это из-за того, что я ищу по context.id - а поле context - имеет тип flattened?

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [April 12, 2021, 5:30pm UTC](https://discuss.elastic.co/t/topic/269874/6 "2021-04-12T17:30:04Z")

</div>

Приведенный вывод не может быть результатом вашего запроса. Как вы этот запрос запускаете?

---

<div class="post-metadata">

**Author:** ![Sergei\_Frolov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/sergei_frolov/32/47922_2.png) [@Sergei\_Frolov](https://discuss.elastic.co/u/Sergei_Frolov)\
**Post date:** [April 12, 2021, 6:00pm UTC](https://discuss.elastic.co/t/topic/269874/7 "2021-04-12T18:00:44Z")

</div>

Запускаю вот так:

 ![snimoq](https://us1.discourse-cdn.com/elastic/original/3X/c/1/c12870695ddaa083456ad154a3e67146bf296113.jpeg)

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [April 12, 2021, 6:12pm UTC](https://discuss.elastic.co/t/topic/269874/8 "2021-04-12T18:12:19Z")

</div>

Странно. У вас, похоже, запрос по таймауту выпадает и вы смотрите на результат предыдущего запроса. Запустите этот запрос с командной строки.

---

<div class="post-metadata">

**Author:** ![Sergei\_Frolov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/sergei_frolov/32/47922_2.png) [@Sergei\_Frolov](https://discuss.elastic.co/u/Sergei_Frolov)\
**Post date:** [April 13, 2021, 8:26am UTC](https://discuss.elastic.co/t/topic/269874/9 "2021-04-13T08:26:33Z")

</div>

Что интересно - не срабатывает даже если сделать:

```auto
GET app_log-*/_search?timeout=600s

```

но если искать не по \* - а указывая конкретный индекс - срабатывает.

Кофликтов маппинга я не нашел в индексах. Весь интервал по которому запрашиваются индексы по вайлдкарту - 2 недели.

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [April 13, 2021, 6:12pm UTC](https://discuss.elastic.co/t/topic/269874/10 "2021-04-13T18:12:51Z")

</div>

Этот таймаут кибаны, а не elasticssearch. Его надо менять в Stack Management -\> Advanced Settings -\> Search/Search Timeout

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [May 11, 2021, 6:13pm UTC](https://discuss.elastic.co/t/topic/269874/11 "2021-05-11T18:13:25Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.