通过回源设置,对于获取数据的请求通过镜像方式进行回源读取,满足您对于数据热迁移需求。
您配置镜像回源规则后,对每条到OSS的Get请求的URL进行匹配,然后按照您设定的规则进行回源。最多配置5条规则,按照顺序匹配, 直到匹配到有效规则。
如果配置了镜像回写,则对一个不存在的文件进行Get操作时,OSS会向源地址请求这个文件,返回给用户,并同时写入到OSS。
镜像回源主要用于无缝迁移数据到京东智联云OSS,即服务已经在自己建立的源站或者在其他云产品上运行,需要迁移到京东智联云OSS上,但是又不能停止服务,此时可利用镜像回写功能实现。具体场景分析如下:
源站有一批冷数据,同时在不断的生成新的热数据。
可以先通过迁移工具将冷数据迁移到OSS上,同时配置镜像回源,将源站的地址配置到OSS上。当将域名切换到京东智联云OSS上(或者京东智联云的CDN,回源到OSS)之后,就算有一部分新生成的数据没有迁移过来,依然可以在OSS上正常访问到,且访问一次后文件就会存入到OSS。域名切换后,源站已经没有新的数据产生了,此时再扫描一次,将还没有导过来的数据一次性导入到OSS,然后将镜像回写配置删除。
如果配置的回源是IP地址,那么将域名迁移到OSS后还可以继续镜像到源站,但是如果配置的是一个域名,由于域名本身会解析到OSS或者CDN,那么镜像就失去作用了,在这种情况下,可以另外申请一个域名作为镜像的源站,这个域名与正在服务的域名解析到同一个IP地址,这样服务域名迁移的时候就可以继续镜像到源站了。
只切换源站的部分流量到OSS或者CDN,源站本身还在不断的产生数据。
迁移方式与上述方式类似,只是流量切换到OSS后,不要将镜像回源配置删掉,这样可以保证切换到OSS或者CDN的流量还是能够取到源站的数据。
细节分析
Content-Type Content-Encoding Content-Disposition Cache-Control Expires
说明 回源地址不支持配置OSS内网域名。
参考:设置镜像回源
(1)登入控制台->对象存储->空间管理->进入某个Bucket->基础设置,导航至“镜像回源”功能区域。
(2)点击【设置规则】,进入镜像回源规则列表页。
(3)单击创建规则,在创建弹框中设置回源条件和回源地址。还可以根据实际需要选择设置是否携带请求字符串;设置3xx 请求响应是否跟随源站重定向请求。同时支持通过设置HTTP header传递规则,进行自定义透传、过滤或者修改。
说明:
镜像回源将按照外网流量正常收费。
回源地址为必填项,支持域名与IP,支持端口。
携带请求字符串,会将 OSS 请求中的 queryString 传递到源站
3xx 请求响应设置默认会跟随源站重定向请求获取到资源,并将资源保存到 OSS 上。若不勾选,OSS会透传 3XX 响应,不获取资源。
HTTP header传递规则:默认传给OSS的header信息不会传递给源站。自定义规则允许您指定允许、禁止、设置指定header参数。
根据以上配置,如果用户发送到OSS的请求(HTTP header部分)如下:
GET /object host : bucket.s3.cn-north-1.jcloudcs.com a-header : 111 b-header : 222 c-header : 333
GET /object host : source.com a-header : 111 c-header : 000
以下HTTP header类型不支持设置HTTP header传递规则:
以下前缀开头的header: x-oss- 所有标准HTTP header,例如: authorization2 authorization content-length range date
(4)单击【确定】,提交规则。
(5)此外,当规则保存成功后,您可以在镜像回源规则列表中查看已设置的回源规则,并进行编辑、删除或是排序等操作。