数据迁移工具(不推荐)

此版迁移工具不再维护。推荐您使用新版迁移工具，前往新版Osstransfer

概述

京东云对象存储数据迁移工具支持从AWS S3、阿里云、腾讯云、百度云、七牛云等服务迁移文件到京东云OSS；同时也支持本地文件列表迁移。迁移工具是一个简单的分布式系统，采用python rpc实现，拥有一个Master，一个或多个Worker，您可以将其运行在单台或多台机器上。

工具特点如下：

1.支持丰富的数据源，包括本地数据及第三方数据

2.支持断点续传

3.支持增量迁移，且支持迁移指定时间后的文件

4.支持并行数据传输

工具下载：osstransfer

运行环境

Linux及Window

软件依赖：python版本2.7.X

迁移工具是使用python实现的，在使用前，需要安装一些依赖包，您可以使用下面的命令进行安装（确保pip已经安装了）

pip install requests
pip install qiniu
pip install boto3
pip install -U cos-python-sdk-v5
pip install oss2

配置Worker

Worker配置文件是config-worker（路径：osstransfer/src/worker/config-worker）

配置内容如下

#port: 指定该worker使用的端口号，默认值是6262;
#is-continue: True/False,是否继续上次未完成的任务，默认只为True。
port=1234
is-continue=True

nohup python worker.py &

注意：worker目前只支持被一个master调用，请确保您的worker不会同时为多个master服务。

配置Master

Master的配置文件是config-master（路径osstransfer/src/master/config-master）

配置参数如下

运行Master

config-master文件为master指定了一个job，master在运行时会读取这个文件，完成指定的任务。

使用场景：

（1）冷数据迁移

当您配置好config-master后，直接运行osstransfer/src/master 目录下的master.py，我们建议您在后台运行：

nohup python master.py  &

如果您准备迁移热数据，我们建议您使用定时任务，在linux下您可以使用crontab去设置一个定时任务，在windows下有图形界面的计划任务。

linux下使用crobtab如下：

命令crontab -e，然后添加定时任务，每隔一天执行一次：

注意：如果上一个定时任务没有完成，新的迁移任务是不会启动的，这样做是为了保证迁移过程中数据一致。

master的运行信息可以通过osstransfer/logs目录下的log-master.txt查看。

监控状态

为了能够获取master和worker的运行状态，我们开发了一个单独的程序，该程序目录为：osstransfer/src/probe/probe.py，我们介绍该程序的使用：

（1）显示帮助文档

python probe.py -h

（2）查看某个worker或master

python probe.py -ip_port ip:port

（3）查看所有的worker和master的状态

python probe.py -f config-master