…使用elasticdump导入导出数据

--inputhttp://localhost:9200/demo

2、将本地数据导入es中

--outputhttp://localhost:9200/demo1

3、将es导入另一个es

--outputhttp://127.0.0.1:9200/demo

前文公司正在运行的项目需要搭一个测试环境需要将正式环境的ES里面存储的数据导入到该测试环境的ES服务器里面。

使用本地的windows系统来实现。

1环境准备

依赖于nodejs的环境需要下载nodejs的相关依赖环境去nodejs官网直接安装包我下载的是msi安装程序安装好之后会直接配置好环境变量在cmd或者Powershell直接下载elaticdump

npm

1导出分词器导出分词器的时候要特别注意我们只能根据索引单个导入不能全部导出全部导出会出现索引不存在的错误

elasticdump

{“root_cause”:[{“type”:“action_request_validation_exception”,“reason”:“Validation

Failed:

missing;”}],“type”:“action_request_validation_exception”,“reason”:“Validation

Failed:

--outputhttp://127.0.0.1:9200/applog

--typeanalyzer

--inputhttp://ip:9200/cms_article

--outputhttp://127.0.0.1:9200/cms_article

--typeanalyzer

--outputhttp://127.0.0.1:9200/followup

--typeanalyzer

这里我是直接先导出所有映射mapping到本地然后找到索引的名称再到各导入分词

elasticdump

我试过如果只导入data和mapping则数据会导入mapping会发生变化最终的结果没有分词的效果。

3顺序导入最好按照analyzermapping和data这个顺序来防止出现分词失效的结果。

index

\--inputhttp://production.es.com:9200/demo

elasticdump

\--inputhttp://production.es.com:9200/demo

\--typedata//导出全部数据

//导出分词器导出分词器的时候要特别注意我们只能根据索引单个导入不能全部导出全部导出会出现索引不存在的错误

//改为按索引分别导入

--outputhttp://127.0.0.1:9200/applog

--typeanalyzer

--inputhttp://ip:9200/cms_article

--outputhttp://127.0.0.1:9200/cms_article

--typeanalyzer

--outputhttp://127.0.0.1:9200/followup

从本地文件导入数据

--outputhttp://localhost:9200/demo1

将es导入另一个es

--outputhttp://127.0.0.1:9200/demo#!/usr/bin/env

bash

‘http://cdh173:9200/$VAR1?pretty’

elasticdump

–inputhttp://33.69.6.95:9200/array[i]−−outputhttp://cdh219:9200/{array[i]}

--outputhttp://cdh219:9200/array[i]

−−outputhttp://cdh219:9200/{array[i]}

–typeanalyzer

–inputhttp://33.69.6.95:9200/array[i]−−outputhttp://cdh219:9200/{array[i]}

--outputhttp://cdh219:9200/array[i]

−−outputhttp://cdh219:9200/{array[i]}

–typesettings

–inputhttp://33.69.6.95:9200/array[i]−−outputhttp://cdh219:9200/{array[i]}

--outputhttp://cdh219:9200/array[i]

−−outputhttp://cdh219:9200/{array[i]}

–typemappingcc

–inputhttp://33.69.6.95:9200/array[i]−−outputhttp://cdh219:9200/{array[i]}

--outputhttp://cdh219:9200/array[i]

−−outputhttp://cdh219:9200/{array[i]}

–typedata

如果我es里索引非常多这样一个一个去执行依然会耗时怎么做当然想到了shell脚本。

#!/bin/sh

--inputhttp://source:9200/indexname/−−output./index_name/

--output./indexn​ame/−−output./index_name.json

--typemapping

--inputhttp://source:9200/indexname/−−output./index_name/

--output./indexn​ame/−−output./index_settings.json

--typesettings

--inputhttp://source:9200/indexname/−−output./index_name/

--output./indexn​ame/−−output./index_data.json

--typedata

执行删除目标服务的索引startindexnamecurl−XDELETEhttp://target:9200/index_name

curl

http://target:9200/indexn​amecurl−XDELETEhttp://target:9200/index_name

echo

执行删除目标服务的索引end“indexnamesleep3echo等待三秒。

。

。

./elasticdump−−input./index_name

sleep

--input./indexn​amesleep3echo等待三秒。

。

。

./elasticdump−−input./index_settings.json

--outputhttp://target:9200/indexname/−−typesettings./elasticdump−−input./index_name/

--typesettings

--input./indexn​ame/−−typesettings./elasticdump−−input./index_name.json

--outputhttp://target:9200/indexname/−−typemapping./elasticdump−−input./index_name/

--typemapping

--input./indexn​ame/−−typemapping./elasticdump−−input./index_data.json

--outputhttp://target:9200/KaTeX

parse

./indexsettings.jsonrm−f./index_settings.json

./indexs​ettings.jsonrm−f./index_data.json

echo

1、这个脚本仅仅只能在安装了elasticdump服务器上使用脚本目录在/root/node_modules/elasticdump/bin

每页条数

3、导入的时候一定要限制性settings的文件导入在执行mapping的导入不然会冲突因为settings上带了uuid的唯一标识。

样例如果我要对bum_user这个索引的数据从测试环境迁移到压测服务器target上就这样执行命令

./esExportOrInput.sh

留个作业可以对源服务器和目标服务器进行动态参数传递就可以做到万能适配了有兴趣就重写