差分集計のグラフ化方法

Elastic In Your Native Tongue 日本語による質問・議論はこちら
1

初めまして。
初歩的な質問かもしれませんが、
以下のようなJsonで登録し、エラーコード事に
StartTimeとEndTime差分合計値をグラフ化したいと考えていますが、
Kibanaで差分の合計を指定する方法がわかりません。
どうすればよいでしょうか。

{
	"errorCode": "ERR0001",
	"Time": {
		"StartTime": "2021/06/29 00:59:57",
		"EndTime": "2021/06/29 01:00:25"
	}
}
2

こんにちわ
まずは開始、終了の差分を求めるところから始めて試してみてはどうでしょうか。
KibanaのScripted Fieldを使うと、Index時にはなかったフィールドを動的に求めることができるので、これを使うと確認できるのでは、と思いました。

参考） Using Painless in Kibana scripted fields | Elastic Blog

KibanaのStack Management -> Index patterns で作成したIndex patternを選択すると、「Scripted Fields」が表示されているのが確認できます。
Add scripted fieldボタンより新規作成を選択し、このように入力します。

image
image746×558 29.6 KB

Scriptと書かれたところは、このようになっています。

doc['Time.StartTime'].value.getSecond() - doc['Time.EndTime'].value.getSecond()

Scripted Field作成後に、KibanaのDiscoverで確認してみると、追加したdeltatimeというフィールドに、開始、終了時間の差分の秒数が表示されていることがわかります。

image
image1574×757 38.2 KB

あとは、この追加したフィールドを使ってグラフ描画を行えばよいかと。

一例ですが、Kibana Lensであればこのような形で確認できるかと思います。

image
image1920×969 89.5 KB

ご参考になれば幸いです。

3

tsgkdtさんありがとうございます。

できました。
出来たのですが、エラーですが、実は配列になっており、正確には

{
	"Errors": [
		{
			"errorCode": "ERR0001",
			"Time": {
				"StartTime": "2021/06/29 00:59:57",
				"EndTime": "2021/06/29 01:00:25"
			}
		},
		{
			"errorCode": "ERR0002",
			"Time": {
				"StartTime": "2021/06/29 01:03:23",
				"EndTime": "2021/06/29 01:05:12"
			}
		}
	]
}

となっておりました。(後だしですみません。。。)

この状態でtsgkdtさんにご教示頂いた通り対応すると配列の1つ目のみの差分のみが出力となってしまいました。
配列に対して、配列ごとに差分を出すというのはScriptでは難しいでしょうか。

4

配列になっている場合ですと、差分の時間を配列内に持たせることはできても、可視化するときに面倒になるかと思います。

このようなデータの形となったとしても・・・

  "_source" : {
    "Errors" : [
      {
        "errorCode" : "ERR0001",
        "Time" : {
          "EndTime" : "2021/06/29 01:00:25",
          "StartTime" : "2021/06/29 00:59:57",
          "delta" : 32
        }
      },
      {
        "errorCode" : "ERR0002",
        "Time" : {
          "EndTime" : "2021/06/29 01:05:12",
          "StartTime" : "2021/06/29 01:03:23",
          "delta" : 11
        }
      }
    ]
  }

deltaのカウントの合計値をグラフにすると、32+11=43 となり、下記のようにどちらのエラーコードでも43件になってしまってます。

image
image1128×618 22.3 KB

１つのドキュメントのErrors以下に複数の情報が入っている構造だからかと思います。
たとえば、Errorsの配列になっているところを１つ１つのドキュメントとして登録することは許されますでしょうか？
それであれば、可視化の際もシンプルにできると思います。

ちなみにですが、上記のデータを作ったときはIngest Pipelineを使用しました。再現手順を書いておきます。

Pilelineの設定

PUT _ingest/pipeline/deltafield_array
{
  "processors": [
    {
      "script": {
        "lang": "painless",
        "source": """
          DateTimeFormatter dtf = DateTimeFormatter.ofPattern("yyyy/MM/dd HH:mm:ss");
           for (def v: ctx.Errors) {
             def startTime = ZonedDateTime.parse(v.Time.StartTime, dtf.withZone(ZoneId.systemDefault()));
             def endTime =   ZonedDateTime.parse(v["Time"]["EndTime"], dtf.withZone(ZoneId.systemDefault()));
            v.Time.delta = startTime.getSecond() - endTime.getSecond()
           }
        """
      }
    }
  ]
}

データをPipelineを指定して登録

POST forum0927a/_doc/1?pipeline=deltafield_array
{

	"Errors": [
		{
			"errorCode": "ERR0001",
			"Time": {
				"StartTime": "2021/06/29 00:59:57",
				"EndTime": "2021/06/29 01:00:25"
			}
		},
		{
			"errorCode": "ERR0002",
			"Time": {
				"StartTime": "2021/06/29 01:03:23",
				"EndTime": "2021/06/29 01:05:12"
			}
		}
	]
}

登録後の確認

GET forum0927a/_doc/1

{
  "_index" : "forum0927a",
  "_id" : "1",
  "_version" : 4,
  "_seq_no" : 3,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "Errors" : [
      {
        "errorCode" : "ERR0001",
        "Time" : {
          "EndTime" : "2021/06/29 01:00:25",
          "StartTime" : "2021/06/29 00:59:57",
          "delta" : 32
        }
      },
      {
        "errorCode" : "ERR0002",
        "Time" : {
          "EndTime" : "2021/06/29 01:05:12",
          "StartTime" : "2021/06/29 01:03:23",
          "delta" : 11
        }
      }
    ]
  }
}
5

tsgkdtさん

ご教示いただきありがとうございます。
なるほど、配列だと扱うのが面倒になりそうなんですね。

分割して登録できるか検討してみます。
色々ありがとうございました。

6

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.