Logstash下载地址https://www.elastic.co/cn/downloads/logstash

4进入bin目录新建配置为文件my_logstash.conf里面的jdbc_driver_library需要自己手动添加这个jar包然后statement

jdbc_connection_string里面数据库的名字改成自己的

my_logstash.conf

数据库url以及数据库名称jdbc_connection_string

jdbc:mysql://127.0.0.1:3306/ry-vue-blog?tinyInt1isBitfalsecharacterEncodingUTF-8useSSLfalseautoReconnecttrue#

用户名和密码jdbc_user

数据库驱动mysql-connector-java-8.0.19.jar所在位置可以是绝对路径或者相对路径下载地址https://download.csdn.net/download/qq_30667039/86490851jdbc_driver_library

D:\Environment\Logstash\7.8.0\bin\mysql-connector-java-8.0.27.jar#

是否开启分页,ture为开启jdbc_paging_enabled

false#

E:/logstash-7.8.0/bin/scrm.sql#

使用这个可以直接写sql语句但是复杂的语句最好是写在文件内statement

SELECT

含义分、时、天、月、年全部为*默认含义为每分钟跑一次任务schedule

*/5

*#是否需要记录某个字段值,如果为true,我们可以自定义要记录的数据库某个字段值例如id或date字段。

如果为false记录的是上次执行的标记默认是一个timestampuse_column_value

true#记录上次执行字段值路径。

我们可以在sql语句中这么写WHERE

:sql_last_value

取得就是该文件中的值这个last_time会以文件形式存在last_run_metadata_path

E:\logstash-7.8.0\bin\last_time#如果use_column_value为真,需配置此参数.

指定增量更新的字段名。

当然该字段必须是递增的比如id或date字段。

tracking_column

updateTime#

对应字段的类型只能选择timestamp或者numeric(数字类型)默认numeric。

tracking_column_type

timestamp#如果为true每次会记录所更新的字段的值,并保存到

true#

的记录true则每次都从头开始查询所有的数据库记录clean_run

false#

是否将字段名称转小写。

默认是true。

这里注意Elasticsearch是区分大小写的lowercase_column_names

false}

ps_seal_log#自定义的模板配置文件#template

/usr/local/logstash/logstash-7.12.1/mysqlnote/ps_test_log_template.json#是否重写模板#template_overwrite

true

5然后就可以启动logstash进行数据的同步在当前bin打开cmd输入命令logstash

6下载Kibana同样对应es版本解压后记得换成自己的版本更改后面的-6-6-0为自己的ES版本

下载地址https://www.elastic.co/cn/downloads/past-releases/kibana-6-6-0

7修改kibana配置文件改成中文