이제 막 시작한 초봅니다.
logstash에 conf 파일에 filter를 적용시키기 전에, Grok Debugger 사용해서 테스트 해 보는대, 원하지 않는 부분이 중복되서 보여 집니다.
원문은 아래와 같은 아래와 같고,
172.16.12.230 Sep 04 17:20:36 local7 info mdserver VIPM_detect_free: <switch_mac=001AF4.499244><switch_ip=172.22.9.216><switch_hostname=I_B_5F_03><date=2018/09/04><time=17:27:34><port=26><attacker=172.22.9.168><dip=any><protocol=TCP><sport=Any><dport=80><signame=Random_Attack><action=Drop><packet_count=547><end_date=2018/09/04><end_time=17:29:34>
패턴은 아래와 같습니다.
{IP:origin}\t%{SYSLOGTIMESTAMP:syslogSVRtime}\t\t%{DATA:facility}\t%{LOGLEVEL:severity}\t%{DATA:mdserver}\t%{DATA:vipm}: <%{SwitchMAC:switch_mac}><%{SwitchIP:switch_ip}><%{SwitchHOSTNAME:switch_hostname}><%{STARTD:start_date}><%{STARTT:start_time}><%{ETHP:ethport}><%{ATTACKER:attacker_ip}><%{VICTIM:victim_ip}><%{PROTO:protocol}><%{SPORT:srcport}><%{DPORT:dstport}><%{SIG:signature}><%{ACT:action}><%{PKTNO:attack_packet_count}><%{ENDD:end_date}><%{ENDT:end_time}>
적용한 커스텀 패턴
ADD Address=%{IP:origin}
SwitchMAC switch_mac=%{DATA:switch_mac}
SwitchIP switch_ip=%{DATA:switch_ip}
SwitchHOSTNAME switch_hostname=%{DATA:switch_hostname}
STARTD date=%{GREEDYDATA}
STARTT time=%{DATA:start_time}
ETHP port=%{DATA:ethport}
ATTACKER attacker=%{DATA:attacker_ip}
VICTIM dip=%{DATA:victim_ip}
PROTO protocol=%{DATA:protocol}
SPORT sport=%{DATA:srcport}
DPORT dport=%{DATA:dstport}
SIG signame=%{GREEDYDATA:signature}
ACT action=%{DATA:action}
PKTNO packet_count=%{NUMBER:attack_packet_count}
ENDD end_date=%{GREEDYDATA}
ENDT end_time=%{DATA:end_time}
위와 같이 하고 실행 하면, 몇몇 부분에서 중복된 결과값이 보입니다. 예를 들면,
"switch_ip": [
[
"switch_ip=172.22.9.216"
],
[
"172.22.9.216"
]
]
위와 같이 나오는대, 실제로 원하는 결과값은 IP 주소만인데, "switch_ip=172.22.9.216" 같이 나오네요.
해결책이 있을까요?