How to filter required word from unstructured data (free text) to store into fileds

Elastic Stack Logstash
1

how to filter required word from unstructured data (free text) to store into fileds (i.e. name, address, persons,date etc.... )

here is the sample text :

Note : this text is in German language.

Öffentliche Bekanntmachung RegisSTAR Amtsgericht Stuttgart Aktenzeichen: HRA 720538 Bekannt gemacht am: 26.10.2006 18:08 Uhr
Die in () gesetzten Angaben der Geschäftsanschrift und des Unternehmensgegenstandes erfolgen ohne Gewähr.
Neueintragungen
17.10.2006 END Verkehrsgesellschaft mbH & Co. KG, Ostfildern (Ludwig-Jahn-Straße 60, 73760 Ostfildern, Gegenstand: ist im Rahmen der kommunalen Aufgabenerfüllung die Bedienung des öffentlichen Personennahverkehrs im Filderraum). Kommanditgesellschaft. Allgemeine Vertretungsregelung: Jeder persönlich haftende Gesellschafter vertritt einzeln. Jeder persönlich haftende Gesellschafter ist befugt, im Namen der Gesellschaft mit sich im eigenen Namen oder als Vertreter eines Dritten Rechtsgeschäfte vorzunehmen. Persönlich haftender Gesellschafter: END Verwaltungsgesellschaft mbH, Ostfildern (Amtsgericht Stuttgart HRB 720970). Einzelprokura: Lohrmann, Klaus-Dieter, Leutenbach, *23.01.1948. Die Gesellschaft ist entstanden durch formwechselnde Umwandlung der Gesellschaft mit beschränkter Haftung "END Verkehrsgesellschaft mit beschränkter Haftung", Ostfildern (Amtsgericht Stuttgart HRB 210016) gemäß § 190 ff. UmwG. Auf die bei Gerichteingereichten Urkunden wird Bezug genommen. Als nicht eingetragen wird bekanntgemacht: Den Gläubigern des an dem Formwechsel beteiligten Rechtsträgers ist, wenn sie binnen sechs Monaten nach dem Tag, an dem die Eintragung des Formwechsels in das Register des Sitzes desjenigen Rechtsträgers, dessen Gläubiger sie sind, nach § 19 Abs. 3 UmwG als bekanntgemacht gilt, ihren Anspruch nach Grund und Höhe schriftlich anmelden, Sicherheit zu leisten, soweit sie nicht Befriedigung verlangen können. Dieses Recht steht den Gläubigern jedoch nur zu, wenn sie glaubhaft machen, dass durch den Formwechsel die Erfüllung ihrer Forderung gefährdet wird.

2

Hello @Ennr
What you need is called regular expressions. You can use it in logstash to store the data in fields, for example in your case to make a field with the date from that text you have to make a filter in logstash like this one:

 grok {
		match => [
			"message",
			"gemacht\ am\:\s(?<date>([^\s]*))"
		]
	}

There is a lot websites to know how to write regular expressions and I recommend you this web to check your regex: https://regex101.com/

If you insert your text in that web and the following regex:

gemacht\ am:\s(?([^\s]*))

you will see that the date is marked in red, that means that this regex is targeting to the date an will be stored ina field called date.
If you need more help related with regex or filter just make me know.

3

can you please give me some more brief using few lines

Bolted text is to be get form full text, like that i have to get address, persons etc..
and i also have 100 recorders in my Database using this one free text/full text i have get some data inside that.

below is sample

"Öffentliche Bekanntmachung RegisSTAR Amtsgericht Stuttgart Aktenzeichen: HRA 720538 Bekannt gemacht am: 26.10.2006 18:08 Uhr
Die in () gesetzten Angaben der Geschäftsanschrift und des Unternehmensgegenstandes erfolgen ohne Gewähr.
Neueintragungen
17.10.2006 END Verkehrsgesellschaft mbH & Co. KG, Ostfildern (Ludwig-Jahn-Straße 60, 73760 Ostfildern, Gegenstand: ist im Rahmen der kommunalen Aufgabenerfüllung die Bedienung des öffentlichen Personennahverkehrs im Filderraum).

4

to store ina field the text that you marked in strong you have to use this regex:

^\d+[.]\d+[.]\d+\s(?<company>([^\,]*))

(I suppose that is a company)
Its important to mention that all the others recorders must be the same structure (I mean the linea breaks, date in the beginning and after ":" that kind of things)

5

thanks for help
but i need text in normal only by not in strong text .
and can you please tell me is there any tutorials that can help me to get regex code for sting for particular position of text, means regex code generator tool or site

because i have multiple records that contains unstructured text, form that i have to get details which i need(means i need to pick particular word or combination words). so is possible using regex and it will work for all the recoredset.

6

The regex works for normal, strong text does not affect.
I recommend you this page as tutorial to start: https://www.rexegg.com/regex-quickstart.html
and this one to test your regex: https://regex101.com/
There is not a regex code generator (or at least that I know) this is like programming you have to learn little by little.
Anyway if you need help with any regex you can contact with me.

7

i should here or any other source to contact you, if there please provide me is help full to me.

8

below is my complete text

image
image.png1190×300 56.2 KB

the yellow are are the required text ti stores in fields

  • first one is registration number and register date
  • after date 20.10.16 is first one is company name, second one is location and in the parenthesis address i have to separate filed to be create can this possible or any other way to achieve this

Below this the image text

ffentliche Bekanntmachung RegisSTAR Amtsgericht Stuttgart Aktenzeichen: HRB 721356 Bekannt gemacht am: 26.10.2006 18:08 Uhr
Die in () gesetzten Angaben der Geschäftsanschrift und des Unternehmensgegenstandes erfolgen ohne Gewähr.
Neueintragungen
20.10.2006 INVEST5 Investorengesellschaft GmbH, Leinfelden-Echterdingen (Gutastr. 11, 70771 Leinfelden-Echterdingen). Gesellschaft mit beschränkter Haftung. Gesellschaftsvertrag vom 28.08.2006. Gegenstand: Die Verwaltung von eigenem Grundbesitz und eigenem Vermögen. Stammkapital: 51.000,00 EUR. Allgemeine Vertretungsregelung: Ist nur ein Geschäftsführer bestellt, vertritt er allein. Sind mehrere Geschäftsführer bestellt, vertreten zwei gemeinsam oder ein Geschäftsführer mit einem Prokuristen. Geschäftsführer: Erchinger, Walter, Brigachtal, *07.06.1948; Schwemmer, Gerda, Brigachtal, *19.06.1953, jeweils einzelvertretungsberechtigt mit der Befugnis, im Namen der Gesellschaft mit sich im eigenen Namen oder als Vertreter eines Dritten Rechtsgeschäfte abzuschließen. Die Gesellschaft ist entstanden durch formwechselnde Umwandlung der Kommanditgesellschaft unter der Firma "INVEST5 Investorengesellschaft Stuttgart GmbH & Co.KG", Leinfelden-Echterdingen (Amtsgericht Stuttgart, HRA 222252) gemäß § 190 ff. UmwG. Auf die bei Gericht eingereichten Urkunden wird Bezug genommen

9

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.