Crear nuevos valores dinamicos

Hola a todos espero que me puedan ayudar,

por el momento estoy entrando a este mundo, y me gustaría saber como se podría hacer lo siguiente: tengo eventos que llegan cada vez una máquina realiza un producto junto con su tiempo por ejemplo: dato 1= 38 pzs; dato 2= 70 seg ; dato 3 = Producto A y he creado un dato nuevo en"Scripted fields"(dato nuevo= 0.54 pzs/seg) y cada vez que la máquina termina puedo ver ese nuevo valor dentro de ese evento o de ese producto.

Ahora quiero crear otro nuevo dato que me diga como el dato nuevo, pero de todo los datos históricos que tengo y este nuevo dato debe calcular la MAX( Pzs/seg) de cada producto, además cuando tenga nuevos eventos lo compare y si es mayor el nuevo evento que el historico, deberia sustituirlo viejo por el nuevo valor.

Ejemplo:
hace 6 meses: producto A; 0.6 pzs/seg
hoy: producto A; 0.9 pzs/seg

Entonces:

Antes >ahora; tomar antes; si no tomar ahora. Al tomar ahora, para todos los eventos que tenga el producto A se tendría también 0.9 pzs/seg.

Espero haberme explicado y sería muy bueno que recibir ayuda para el desarrollo de esta idea, ya que el texto o la teoría no dice las múltiples posibilidades para crear nuevos datos dinámicos.

saludos.

Hola,

¿Has mirado la documentación de Roll ups y transformaciones?

Hola,

gracias por la documentación, no le conocía, pero he visto que esta herramienta está perfecta para lo que necesito, solo que no sé si pueda usar el campo nuevo que he creado en Scripted fields o si tengo que realizar esta operación con Roll ups y Transformaciones?.

Un scripted field sirve para hacer operaciones sobre un registro, mientras que los rollup y transformaciones operan sobre grupos de registros para hacer agregaciones y resúmenes.

¿Entonces que me recomiendas hacer??, antes de esto, necesito un dato nuevo y para crearlo, he unitizado Dev Tools para tener Pzs/sec cada vez que tenga un evento de piezas y su tiempo.

Ahora ya puedo ver en mi index el nuevo dato (Pzs/sec). Ahora quiero tener el máximo valor que se ha hecho en cada producto y los nuevos datos que lleguen los tome y analice si es el nuevo máximo valor y se cambie si lo es. No sé si utilizo primero, Transformaciones y después en Rollup o al revés. Incluso realicé un Rollup, pero no sé donde veo esa información en Discover o como sé que si funciona, eso me lo pudrías aclarar por favor?

bueno ahora tengo el index que se realizo con la herramienta de transformaciones, y realize varios index pero no logro verlos en las visualizaciones, saben porque ??

Como noy soy experto en esta parte del stack he probado en 7.14 a crear una transformación sobre el dataset de ejemplo de e-commerce para obtener el máximo precio por categoría

Fíjate que al final hay una opción para crear un index pattern. Esto es necesario para luego poder ver los datos en Kibana. Una vez creada la transformación he podido ver los datos en Discover sin problema

Si creas la transformación desde la API imagino que tendrás que crear el index pattern después manualmente.

Espero sea de ayuda.