Sqlite와 logstash를 연결하는 데 오류가 발생합니다

[Jun.8]

지난 번 로그스태시와 장고 간 연결 관련 질문을 드렸던 사람입니다. 알고보니 현재 장고 웹서버를 구축했고 모델을 설정하여 sqlite DB에 데이터를 쌓아놓은 상태라 기존의 logstash tcp input이 적절하지 않은 것 같다는 판단을 했습니다. 따라서 sqlite와 logstash를 연결하려고 했고 아래와 같이 설정했는데요.

input {
    sqlite {
        path => "/Users/aeddung/django_test/mypost/db.sqlite3"
        type => weblogs
    }
}
output {
    stdout {
   }
}

이렇게 해서 logstash conf 파일을 돌려보면 아래와 같이 여러 가지 error 메세지가 뜨면서 결과값이 출력되지 않는데요. 무슨 이유로 오류가 발생하는 걸까요? ㅠㅠ

org.jruby.internal.runtime.methods.CompiledIRMethod.call(CompiledIRMethod.java:82)
org.jruby.internal.runtime.methods.MixedModeIRMethod.call(MixedModeIRMethod.java:70)
org.jruby.ir.targets.InvokeSite.invoke(InvokeSite.java:207)
Users.aeddung.Downloads.logstash_minus_7_dot_7_dot_1.logstash_minus_core.lib.logstash.java_pipeline.RUBY$block$start_input$1(/Users/aeddung/Downloads/logstash-7.7.1/logstash-core/lib/logstash/java_pipeline.rb:337)
    org.jruby.runtime.CompiledIRBlockBody.callDirect(CompiledIRBlockBody.java:138)
    org.jruby.runtime.IRBlockBody.call(IRBlockBody.java:58)
    org.jruby.runtime.IRBlockBody.call(IRBlockBody.java:52)
    org.jruby.runtime.Block.call(Block.java:139)
    org.jruby.RubyProc.call(RubyProc.java:318)
    org.jruby.internal.runtime.RubyRunnable.run(RubyRunnable.java:105)
    java.base/java.lang.Thread.run(Thread.java:830)

[kimjmin (Jongmin Kim)]

컴파일 오류 메시지가 보이는데 Logstash 는 JRuby 코드를 Java 클래스 파일로 컴파일 해서 사용하는 녀석이라 설치된 Java 버전 등이 중요합니다.
그리고 Logstash Support Matrix 페이지에서 보시면
https://www.elastic.co/kr/support/matrix#matrix_logstash_plugins
sqlite 는 Logstash 개발팀이 공식적으로 유지보수 하는 기능 목록에 없습니다.

sqlite 도큐먼트 페이지
https://www.elastic.co/guide/en/logstash/current/plugins-inputs-sqlite.html
에 나와 있듯이

bin/logstash-plugin install logstash-input-sqlite

명령으로 설치를 먼저 해야 하고요,
마지막 릴리즈 날짜가 2018-04-06 로 되어 있어서 Logstash 최신 버전에서는 지원이 안 되는걸지도 모르겠습니다.
만약에 그게 원인이라고 하면 Logstash 를 두개 설치해서

sqlite - logstash (5.x) - (file, tcp, ...) - logstash (7.x) - elasticsearch

같은 방식으로 실행하면 되지 않을까 싶습니다.

[insuk (Chris (Insuk) Cho)]

장고 웹서버를 구축했고 모델을 설정하여 sqlite DB에 데이터를 쌓아놓은 상태

sqlite DB에 쌓이는 데이터가 무슨 종류인가요?

지난번 올리신 질문에는 로거 설정을 하시려는 거 같던데, 단순 로그를 디비에 쌓으신건가요?

차라리 로그 파일을 만들어서, Filebeat를 사용해보시면 어떨까요?