迁移第三方云厂商数据至OSS

概述

如果您打算将其他云厂商中对象存储的数据迁移到京东云对象存储 (OSS)，京东云提供了多种迁移方案以满足用户的基本迁移需求。

场景

• 其他云厂商历史存量数据迁移
  历史数据通常具有数据量较大的特点。针对将其他云平台的历史存量数据迁移到京东云对象存储 OSS 的需求，京东云提供了两种迁移方式：一是使用 OSS Transfer 数据迁移工具，二是通过应用迁移中心 AMC。这两种方式旨在确保数据迁移过程的便捷性和可靠性，满足不同场景下的迁移需求。

• 三方云平台增量数据迁移
  当历史数据正在迁移时，源端可能仍在不断写入新数据。OSS 针对源端的增量数据提供迁移和同步方案，您可以使用 OSS Transfer 工具、应用迁移中心 AMC 和 OSS 镜像回源。

迁移方案

针对客户从其他云迁移到 京东云对象存储 OSS 的场景，京东对象存储 OSS 提供了三种迁移方式，分别是应用迁移中心 AMC 、OSS Transfer 工具、镜像回源。

1. 应用迁移中心 AMC：是一个整合各类常用组件迁移方案的跨云迁移服务平台，为客户提供覆盖评估规划、实施管控、验证割接全流程的迁移解决方案。您可以通过 AMC 平台对其他云厂商中的历史存量数据和增量数据发起跨云迁移，也可以对本地自建的对象存储集群进行上云迁移。AMC 控制台提供对象存储 OSS 在线迁移和离线迁移的能力，可支持断点续传、流量控制、数据的并行下载、上传，支持的最大单文件大小为 19.5 TB。

2. OSS Transfer 脚本化数据迁移工具 ：是一种脚本化的数据迁移工具，具有可靠、安全、稳定的特点。您可以从京东云对象存储官网文档下载并存放到Linux服务器的某个路径下，经过基础的迁移参数配置后即可发起数据迁移。适用于大规模对象数据（500TB以下）全量或增量迁移场景。

3. OSS 镜像回源：您可以为存储桶 Bucket 配置镜像回源，适用于客户源站无缝迁移数据到OSS。即服务已在源站或者在其他云厂商上运行，需迁移到OSS，但又不能停止服务。在OSS Transfer 完成历史存量数据迁移且业务切换到OSS后，当访问的数据不在OSS，会触发镜像回源到源站抓取，并下载到OSS，保证访问正常进行。在请求过程中，源站返回的数据会自动给到请求用户而用户对该过程无感。

迁移实践

历史存量数据跨云迁移

1. 应用迁移中心 AMC
   是一个整合各类常用组件迁移方案的跨云迁移服务平台，为客户提供覆盖评估规划、实施管控、验证割接全流程的迁移解决方案。您可以通过可视化配置的方式实现三方云到京东云的数据迁移。支持的迁移类型为三方对象存储数据到京东云对象存储，并支持对迁移任务的进度和结果进行查看。对失败的迁移任务，支持发起迁移重试，并支持对迁移任务发起中断、删除等操作。

支持如下几方面的功能：

1）任务创建：支持先创建任务再启动，或者创建后直接启动；
2）支持源端：支持由阿里云 OSS、腾讯云 COS、金山云 KS3、火山云 TOS、七牛云 KODO 、华为云 OBS 、本地自建S3 等迁移到京东云对象存储 OSS；
3）任务管理：当迁移任务创建后，您可以对任务进行管理，如中断、删除、下载失败文件、重启等操作；
4）任务进度查看：迁移任务创建后，您可以对任务的迁移进度进行查看，如当前已经完成迁移的文件数、总文件数等；
5）支持存量数据和增量数据的迁移。

您可以直接登录应用迁移中心 AMC 控制台创建迁移任务并发起数据的迁移。详细迁移步骤请参考 AMC 对象存储迁移 帮助文档。

请注意：
如果您需要通过云迁移进行京东云迁移目标端实例构建，计费详情请参见 对象存储计费说明
应用迁移中心本身暂不收费，免费提供服务，但是在使用迁移过程中可能会涉及到源端存储桶及腾讯云存储桶读写数据、网络等方面的费用，计费详情请参见源端计费说明，如 阿里云计费概述、华为云计费概述、腾讯云计费概述

2. OSS Transfer 数据迁移工具
   OSS Transfer 工具是京东云对象存储 OSS 推出的用于对象存储数据迁移的工具，支持将本地文件、指定URL列表文件、其他云存储文件迁移到OSS上。

具体使用方式及注意事项请参见：OSS Transfer 数据迁移工具

跨云迁移源端增量数据
您可以通过配置镜像回源规则或 应用迁移中心 AMC 来完成增量数据的跨云同步。

1. 应用迁移中心 AMC
   应用迁移中心 AMC 是一个整合各类常用组件迁移方案的跨云迁移服务平台，为客户提供覆盖评估规划、实施管控、验证割接全流程的迁移解决方案。您可以通过可视化配置的方式实现三方云到京东云的数据迁移。支持对存量数据和增量数据发起跨云迁移和跨云同步。

请注意：
如果您需要通过云迁移进行京东云迁移目标端实例构建，计费详情请参见 对象存储计费说明
应用迁移中心本身暂不收费，免费提供服务，但是在使用迁移过程中可能会涉及到源端存储桶及腾讯云存储桶读写数据、网络等方面的费用，计费详情请参见源端计费说明，如 阿里云计费概述、华为云计费概述、腾讯云计费概述

2. 镜像回源
   您可以通过京东云对象存储（Object Storage Service，OSS）控制台，对存储桶设置镜像回源规则，当您请求的对象在存储桶中不存在或者需要对特定的请求进行重定向时，您可以通过回源规则从 OSS 访问到对应的数据。设置回源主要用于数据的热迁移、特定请求的重定向等场景，您可以按照自身实际需要进行设置，解决从其他云迁移到OSS的增量数据问题。

具体使用方式及注意事项请参见：OSS 镜像回源