对象存储

产品文档

对象存储

OSS概述

OSS简介

京东云对象存储(Object Storage Service,简称OSS)是利用京东在分布式存储领域多年的深厚技术积累,为用户提供安全、稳定、便捷的海量非结构化数据的云存储服务。其数据持久性高达99.9999999999%(12个9),服务可用性高达99.995%.

京东云对象存储提供包括文件上传、存储、下载、分发、在线处理在内的全系列产品,从几字节到数TB的数据,都能够为您提供完整的存储方案。

同时,京东云对象存储还为您提供简单方便的Restful接口与方便易用的SDK,帮助您在任何应用、任何时间、任何地点都能管理和访问京东云对象存储上的数据。

目前京东云对象存储在京东内部已经承载了商城,金融、移动、物流、拍拍、京东云等近200个部门的关键数据,为京东业务高速增长提供了坚实的保障。

OSS存储级别

标准型存储(STANDARD):标准存储为用户提供了高可靠性、高可用性和高性能的对象存储服务。标准存储拥有低访问时延和较高的吞吐量,因而适用于吞吐量大,热点文件、需要频繁访问的业务场景,如:移动应用、 大型网站、 图片分享、热点音视频等。

低频存储(STANDARD-IA):低频存储类型适合长期保存不经常访问的数据(平均每月访问频率1到2次)。存储单价低于标准类型,适合各类移动应用、智能设备、企业数据的长期备份,支持实时数据访问。存储时间短于30天的Object提前被删除会产生一定费用。

归档存储(GLACIER):归档存储类型在存储类型中单价最低,适合需要长期保存(建议半年以上)的归档数据,在数据的存储周期内极少被访问;数据取回时,需要根据您选择的取回模式,等待几分钟到几小时。归档存储类型适合需要长期保存的档案数据、操作日志、影视素材等。存储时间短于60天的Object提前删除会产生一定费用。

低冗余型存储(REDUCED_REDUNDANCY):低冗余型存储为用户提供了较低存储成本的对象存储服务。与标准型存储相比,低冗余存储类型的数据持久性较低,适用于经常访问的非关键性、可再生数据存储。

OSS特性

数据冗余机制

针对不同存储类型的数据,OSS采用纠删码、多副本等多种数据存储冗余机制,可将数据分布存储于跨区域、跨可用区的多个设备上,确保硬件失效时的数据持久性和可用性。OSS的冗余机制,可在任意两台设备并发发生故障时,保证数据不丢失,业务不中断,并自动修复故障冗余。另一方面,OSS会周期性的校验数据完整性,及时发现损坏数据并利用冗余的数据重建损坏数据。

强一致性

对象(Object)是OSS中数据存储的基本单位,以键值对(Key-Value)形式存储于OSS中。对象作为OSS存储数据的基本单元,具有原子性。OSS对于对象的操作满足强一致性,OSS上的任何操作都不会存在有中间状态的Object,只有成功或者失败两种状态。用户一旦收到操作成功的响应,即表示该数据操作完成。例如上传操作,当用户PUT操作成功后,该Object立即处于可读状态,且数据是完整的,不存在部分上传成功的状态。当用户更新数据时,若在PUT操作未完成之前,另一个线程对同一对象执行GET操作,则获得旧数据,绝不会获得部分数据或损坏数据。

强一致性方便了用户架构设计,可以使用跟传统存储设备同样的逻辑来使用OSS,修改立即可见,无需考虑最终一致性带来的各种问题。

Key-Value形式存储

不同于传统文件系统的树状索引结构,数据在OSS上以Key-Value对形式存储,Object的名称(Key)是获取对象的唯一标识。对于用户而言,Key为自定义的字符串,虽然OSS允许用户使用类似多级目录FolderA/FolderB/file.jpg作为对象的Key,但对OSS而言,其本质仍然是字符串,并不代表file.jpg保存在FolderA/FolderB目录下。因此,不论Key的长度如何,OSS在访问不同Object时,其消耗资源和访问效率都是类似的,这与文件系统形成鲜明对比。文件系统中,随着访问目录层级的加深,消耗更多的资源,效率明显降低。

当用户以FolderA/FolderB/file.jpg的形式来定义Key时,OSS可以模拟目录功能,但任何对目录的操作,都相当于对Key中含此目录的对象进行操作,这将是一个非常消耗资源的操作,也是非常低效的,因此OSS建议尽量避免此类操作。

一次写入,多次读取

OSS不支持对象的在线编辑,用户哪怕是仅仅需要修改一个字节也需要重新上传整个 Object。OSS拥有海量数据处理能力,其分布式架构以及Key-Value的存储方式,保证其读写性能不会受限于单个设备的性能,可支持海量用户的高并发访问,配合OSS的权限控制,合理分配数据的读写权限,因此特别适合一次写入,多次读取的场景。

快速导航

计费规则

存储基本操作

图片处理

兼容S3 API

JAVA SDK

PHP SDK

PYTHON SDK

迁移工具OSS Tranfer

S3FS挂载工具

更新时间:2021-09-01 19:09:50
文档反馈 docs feedback