# RDS -\> (Logstash) -\> Elasticsearch の取り込みができない

**URL:** <https://discuss.elastic.co/t/rds-logstash-elasticsearch/225406>\
**Category:** 日本語による質問・議論はこちら\
**Created:** [March 27, 2020, 12:36pm UTC](https://discuss.elastic.co/t/rds-logstash-elasticsearch/225406 "2020-03-27T12:36:19Z")\
**Posts on this page:** 3\
**Page:** 1

<div class="post-metadata">

**Author:** ![sogaoh](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/sogaoh/32/65166_2.png) [@sogaoh](https://discuss.elastic.co/u/sogaoh)\
**Post date:** [March 27, 2020, 12:36pm UTC](https://discuss.elastic.co/t/rds-logstash-elasticsearch/225406/1 "2020-03-27T12:36:20Z")

</div>

バージョン： logstash:7.6.1 ( [https://hub.docker.com/\_/logstash?tab=tags](https://hub.docker.com/_/logstash?tab=tags) )

Logstash Pipeline を利用した AWS RDS (MySQL 5.7.12) からの AWS Elasticsearch(7.1) へのデータ流し込みでつまづいてしまっています。  
おそらく該当のテーブルに geometry型のカラムがあるためではないかと思い、以下２点を試したのですが取り込みができていません。  
取り込みが成功するための方法がわかれば教えていただきたいです。

(1) geometry型 のカラムを ST\_AsText でテキストにして取り込みを試みましたが、SQLの statement が長いためか  
並び順の次の次くらいのカラムが存在しないというエラーになってしまいました。

```auto
[ERROR][logstash.inputs.jdbc][(問題のテーブル)] Java::JavaSql::SQLSyntaxErrorException: Unknown column '(エラーになったカラム1)' in 'field list': ...

(エラーになったカラム1を外してリトライ)
[ERROR][logstash.inputs.jdbc][(問題のテーブル)] Java::JavaSql::SQLSyntaxErrorException: Unknown column '(エラーになったカラム1の次のカラム2)' in 'field list': ...

```

- ここでお聞きしたいのは、statement のSELECT SQL 文に長さのMAXがあるのか？ということです。

(2) 次に試したのは、geometry型をテキストにしてビューにして、そのビューを取り込みのターゲットにしようとしました。  
そうしたところ、そのビューは存在しないという以下のようなエラーになりました。  
（設定に定義したユーザーで単体での接続・取得ができることは確認しています。権限ではなさそう）

```auto
[WARN][logstash.inputs.jdbc][(問題のテーブル)] Exception when executing JDBC query {:exception=>#<Sequel::DatabaseError: Java::JavaSql::SQLSyntaxErrorException: Table '(DB名).view_(問題のテーブル名)' doesn't exist>},

```

- この状況での質問は、ビューを利用した取り込みはできない、ということなのでしょうか？

コメントいただけるとありがたいです。  
よろしくお願いいたします。

---

<div class="post-metadata">

**Author:** ![sogaoh](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/sogaoh/32/65166_2.png) [@sogaoh](https://discuss.elastic.co/u/sogaoh)\
**Post date:** [March 27, 2020, 3:11pm UTC](https://discuss.elastic.co/t/rds-logstash-elasticsearch/225406/2 "2020-03-27T15:11:49Z")

</div>

設定・状況類

pipelines.yml

```auto
- pipeline.id: hoge_fungar_geos
  pipeline.batch.size: 250
  pipeline.workers: 1
  path.config: "/usr/share/logstash/pipeline/hoge_fungar_geos.conf"

```

pipeline/hoge\_fungar\_geos.conf

```auto
input {
  jdbc {
    jdbc_driver_library => "/usr/share/logstash/${JDBC_DRIVER_FILENAME}"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://${RDS_ENDPOINT}:3306/${RDS_DATABASE}"
    jdbc_default_timezone => "${TZ}"
    jdbc_user => "${RDS_USERNAME}"
    jdbc_password => "${RDS_PASSWORD}"
    jdbc_paging_enabled => true
    tracking_column => "updated_at"
    use_column_value => true
    tracking_column_type => "numeric"
    schedule => "* */1 * * * *"
    statement => "SELECT *, UNIX_TIMESTAMP(updated_at) AS unix_ts_in_secs FROM view_hoge_fungar_geos WHERE (UNIX_TIMESTAMP(updated_at) > :sql_last_value AND updated_at < NOW()) ORDER BY updated_at ASC"
  }
}

filter {
  mutate {
    copy => {"meta_hoge_fungar_id" => "[@metadata][_hoge_fungar_id]"}
    remove_field => ["meta_hoge_fungar_id", "@version", "unix_ts_in_secs"]
  }
}

output {
  elasticsearch {
    hosts => "${ES_ENDPOINT}:443"
    ssl => true
    ilm_enabled => false
    index => "hoge_fungar_geos"
    document_id => "%{hoge_fungar_id}"
  }
}

```

DESC view\_hoge\_fungar\_geos

```auto
+-----------------------------+--------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-----------------------------+--------------+------+-----+---------+-------+
| hoge_fungar_id | int(11) | NO | | NULL | |
| geom_xxx1 | longtext | YES | | NULL | |
| xxxxxxxx_xxx2 | varchar(255) | YES | | NULL | |
| xxxxxx3 | longtext | YES | | NULL | |
| xxxxxx4 | text | YES | | NULL | |
| xxxxx_xxxxxx5 | varchar(255) | YES | | NULL | |
| xxxxxxx_xxx6 | varchar(255) | YES | | NULL | |
| updated_at | datetime | YES | | NULL | |
| xxxxxxxx_xxxxxx7_at | datetime | YES | | NULL | |
| xxxxxx_xxx8 | varchar(255) | YES | | NULL | |
| xxxxxxxxxxxxxx_xxxx_xxxxx_9 | varchar(255) | YES | | NULL | |
| xxxxxx10 | varchar(255) | YES | | NULL | |
| xxxxxxxxxx_xxxxx_11 | varchar(255) | YES | | NULL | |
| xxxxxxxxxx_xxxxx_12 | varchar(255) | YES | | NULL | |
| xxxxxxxxxx_xxxxx_13 | varchar(255) | YES | | NULL | |
| xxxxxxxxxx_xxxxx_14 | varchar(255) | YES | | NULL | |
| xxxxx15 | varchar(255) | YES | | NULL | |
| xxx16 | varchar(255) | YES | | NULL | |
+-----------------------------+--------------+------+-----+---------+-------+

```

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [April 24, 2020, 3:11pm UTC](https://discuss.elastic.co/t/rds-logstash-elasticsearch/225406/3 "2020-04-24T15:11:55Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.