数据传输 DTS

产品文档

数据传输 DTS

帮助中心 > 产品文档 > 数据传输 DTS > 自建/云数据库MySQL同步至云搜索Elasticsearch

自建/云数据库MySQL同步至云搜索Elasticsearch

(该功能目前需要工单方式申请后进行使用)

1. 适用场景

本文适用于使用京东云数据传输DTS(以下简称 DTS),将DTS已经支持的数据源迁移/同步至云搜索Elasticsearch目标端中的场景。

2. 使用限制

  • 不支持结构迁移
  • 增量同步不支持同步DDL操作
  • 支持同步的SQL操作有:INSERT、DELETE、UPDATE
  • 不支持同步源端数据源的数据类型:二进制(binary)类型、GIS(Spatial Data Types)类型
  • 由于MySQL和Elasticsearch实例支持的数据类型不同,无法一一对应。所以DTS在进行结构初始化时,会根据目标库支持的数据类型进行默认类型映射,请在操作对象映射过程中选择合适数据类型。

3. 前置条件

3.1 环境要求

  • 源端使用RDS/自建MySQL数据库版本为5.5、5.6、5.7或8.0版本
  • 目标端云搜索Elasticsearch实例为6.7.0、6.8.13、7.5.2或7.9.3版本

3.2 权限要求

  • 要求账号拥有在目标端云搜索Elasticsearch实例中创建索引、写入数据的权限

4. 操作步骤

使用云搜索Elasticsearch作为目标端,在任务创建、预检查、任务启动、任务暂停、结束任务的操作流程请参考入门指南。

任务配置(步骤5、6、7)对象映射(步骤8) 部分与其他数据源有一些差异。

  1. 登陆数据传输控制台

  2. 在左侧导航栏,单击数据同步

  3. 同步任务列表页面顶部,选择同步的目标实例所属地域,购买数据同步任务。

    购买时,选择(源库)数据库类型为MySQL、(目标库)数据库类型为Elasticsearch,并选择同步拓扑为单向同步,以及所需的实例规格、目标库所在的VPC网络。

  4. 定位至已购买的数据同步实例,单击配置同步任务

  5. 配置同步任务的源端及目标实例信息。

类别 配置 说明
/ 任务名称 默认会自动生成一个同步任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别
源库信息 数据库类型 固定选择MySQL
所在地域 购买数据同步实例时选择的源库地域信息,不可变更
实例类型 支持通过IPv6/专线/内网连接的自建MySQL实例和云数据库MySQL实例
实例ID 接入云数据库MySQL实例时,表示实例ID
数据库地址 接入自建MySQL实例时,可填写IP地址或域名。云数据库MySQL实例不需要填写该字段
端口 接入自建MySQL实例时,表示实例的访问端口。云数据库MySQL实例不需要填写该字段
数据库账号 填入MySQL的数据库账号
数据库密码 填入MySQL数据库账号对应的密码
测试连接 点击对以上源端信息进行连通性检测,提示“连接成功”后可进行下面的操作
目标库信息 数据库类型 固定选择Elasticsearch
所在地域 购买数据同步实例时选择的目标库地域信息,不可变更
实例类型 选择“云搜索Elasticsearch”
实例ID 选择云搜索Elasticsearch的实例ID
数据库账号 填入Elasticsearch的数据库账号
数据库密码 填入Elasticsearch数据库账号对应的密码
测试连接 点击对以上目标端信息进行连通性检测,提示“连接成功”后可进行下一步操作
  1. 单击页面下方的下一步继续进行任务配置流程。
  2. 配置索引名称、目标已存在表的处理模式和同步对象。
配置 说明
数据流向 MySQL => Elasticsearch
数据同步类型 可选择业务的同步方式:全量 / 增量
索引命名方式 快捷配置方式:
√ 当选择为“表名”后,在目标Elasticsearch实例中创建的索引名称和表名一致
√ 当选择为"库名_表名"后,在目标Elasticsearch实例中创建的索引名称为库名_表名
加工方式 暂时只支持“单表”方式,即表一对一的同步/迁移方式
目标已存在表的处理模式 √ 预检查并报错拦截:检查目标数据库中是否有同名的索引。如果目标数据库中没有同名的索引,则该项预检查内容通过;如果目标数据库中有同名的索引,则在预检查阶段提示错误,数据同步任务不会被启动。
√ 忽略报错并继续执行:跳过目标数据库中是否有同名索引的检查项。
选择同步对象 在“源端对象”框中勾选需要同步的对象,选中的对象会展示在右侧“已选择对象”框中
  1. 已选择对象区域框中,将鼠标移入待同步的表上,会出现编辑规则并单击,可在已选对象编辑规则弹窗中设置该表在目标Elasticsearch实例中的索引名称、Mapping映射等信息。
配置 说明
索引名称 需要遵循Elasticsearch对于索引(index)的命名规范
_id取值 设置表的主键列,支持设置联合主键
字段选择 对需要同步的字段进行选择
属性配置 映射字段:目标库存储的字段名称;
类型:目标库字段存储的类型;
分词:目前支持的有 Standard Analyzer、Simple Analyzer、Stop Analyzer、Whitespace Analyzer、Keyword Analyzer、Pattern Analyzer、IK_Max_Word Analyzer、IK_Smart Analyzer
  1. 上述配置完成后,确认授权以及单击页面下方的保存并启动
  2. 同步任务列表页面会显示新创建的任务信息,含运行状态。如果预检查通过,则会成功启动同步任务;如果失败,可查看具体的失败详情,您可以根据提示修复后重新进行预检查。
更新时间:2021-10-13 13:57:44
文档反馈 docs feedback