CEPH Object Gateway

对象存储

对象存储是提供restful接口并数据组织形式扁平化的存储方法，对象存储同兼具块存储高速直接访问磁盘及文件存储的分布式共享特点。

典型设备： 内置大容量硬盘的分布式服务器(swift, s3)
多台服务器内置大容量硬盘，安装上对象存储管理软件，对外提供读写访问功能。

优点：

· 具备块存储的读写高速。

· 具备文件存储的共享等特性。

使用场景： (适合更新变动较少的数据)

· 图片存储。

· 视频存储。

· …

Ceph 对象存储 (radosgw)

Ceph 对象网关是一个构建在 librados 之上的对象存储接口，它为应用程序访问Ceph 存储集群提供了一个 RESTful 风格的网关 。 Ceph 对象存储支持 2 种接口：

1. 兼容S3: 提供了对象存储接口，兼容大部分 亚马逊S3 RESTful 接口。

2. 兼容Swift: 提供了对象存储接口，兼容大部分 Openstack Swift 接口。

Ceph 对象存储使用 Ceph 对象网关守护进程（ radosgw ），它是个与 Ceph 存储集群交互的 FastCGI 模块。因为它提供了与 OpenStack Swift 和 Amazon S3 兼容的接口， RADOS 要有它自己的用户管理。 Ceph 对象网关可与 Ceph FS 客户端或 Ceph 块设备客户端共用一个存储集群。 S3 和 Swift 接口共用一个通用命名空间，所以你可以用一个接口写入数据、然后用另一个接口取出数据。

Ceph 对象存储不使用 Ceph 元数据服务器。

对象存储的应用场景：

1）资源分发下载

网站或者app需要上传、下载和分发视频图片等

分发和下载app安装包等

2）网盘

可以对用户提供网盘服务，用户可以通过网盘存储自己任何格式的文件

ceph对象存储目前已经有厂商在使用，但是大多会基于网关等做些优化以适应自己的使用场景。

RGW对外的三类基础数据逻辑实体

· 用户

· 存储桶

· 对象

1. 用户

RGW兼容AWS S3和OpenStack Swift。RGW User对应S3 User，也对应Swift Account，RGW subuser对应Swift user。
用户数据信息包含:

· 用户认证信息: S3(access key,secret key),Swift(secret key)

· 访问控制权限信息: 包含操作访问权限(read、write、delete等)和访问控制列表

· 用户配额信息: 防止某些用户占用过多存储空间，根据用户付费情况配置存储空间

2 存储桶

存储桶是对象的容器，是为了方便管理和操作具有相同属性的一类对象而引入的一级管理单元。
存储桶信息包含:

l 基础信息: (保持在对应RADOS对象的数据部分)RGW关注的信息，包含bucket配额信息(最大对象数目和最大对象大小总和)，bucket placement rule，bucket中的索引对象数目等等。其中bucket placement rule包含index pool(存储桶的索引对象)，data pool(对象数据)，data extra pool(分段上传的中间数据)

l 扩展信息: (保存在对应RADOS对象的扩展属性)对RGW透明的一些信息，如用户自定义的元数据信息。

3 对象

RGW中的应用对象对应RADOS对象。应用对象上传分整体上传和分段上传，不同的上传方式应用对象对应RADOS对象的方式不同。
这里涉及三个概念:

· rgw_max_chunk_size: 分块大小，RGW下发至RADOS集群的单个IO的大小。

· rgw_obj_stripe_size: 条带大小，multipart除首对象外的分段其它大小。

· class RGWObjManifest: 管理应用对象和RADOS对象的对应关系。

整体上传

l 应用对象大小小于等于分块大小: 用户上传的一个对象只对象一个RADOS对象，该RADOS对象以应用对象名称命名，应用对象元数据也保存在该RADOS对象的扩展属性中。

l 应用对象大小大于分块大小: 应用对象被分解成一个大小等于分块大小的首对象。多个大小等于条带大小的中间镜像，和一个大小小于条带大小的尾对象。首对象以应用对象名称命名，在RGW中将该对象称为head_obj，该对象的数据部分保持了应用对象前rgw_max_chunk_size字节的数据。扩展属性部分保存了应用对象的元数据和manifest信息。中间对象和尾对象保存应用对象剩余的数据，对象名称为"shadow_" + "." + "32bit随机字符串" + "_" + "条带编号"，其中条带编号从1开始。

2.3.2 分段上传

RGW依照条带大小将应用对象的每一个分段分成多个RADOS对象，每个分段的第一个RADOS对象名称为:
"multipart" + "用户上传对象名称" + "分段上传ID" + "分段编号"
其余对象名称为:"shadow" + "用户上传对象名称" + "分段上传ID" + "分段编号" + "_" + "条带编号"

当所有的分段上传结束后，RGW会从data_extra_pool中的分段上传临时对象中读取各个分段信息。主要是各分段的manifest信息组成一个manifest，然后生成一个新的RADOS对象，即head obj，用来报错分段上传的应用对象的元数据信息和各分段的manifest