Ceph架构下文件存储的优劣

在宁安看来，尽管Ceph是呼声很高的开源分布式的SDS产品存储系统，同时提供对象存储、块存储和文件存储三种功能，但仍存在着一定的短板和局限。

客观来看，Ceph架构的优势在于其扩展性，它的性能会随着磁盘数量线性增长，能够降低硬件成本和运维成本，但它的复杂性会带来较高的学习成本。
宁安在采访中介绍，如果用Ceph架构文件存储功能，通常会有三种方案：

其一，采用CephFS接口，当前仍是不稳定状态，不适合生产部署。此外，它的元数据服务是单点的，因此无法分布式部署；

第二种采用Ceph的块存储接口，通过块设备挂载到一个机器上，格式化本地文件系统，再对文件系统做NFS服务来暴露数据。这种方法的问题在于它只有一个单点，因为本地系统的限制，无法同时挂载两个，所以无法负载均衡；

第三种基于Ceph的对象存储接口＋FUSE的挂载来转化协议。这种方法的问题在于性能比较差，因为有协议转换的损耗，而且这是对象存储接口，限制不能随机修改。

由此也带来Ceph架构四个方面的问题：

首先是数据一致性问题。因为多份Hash在不同客户端有不同的状态，难以维持各个客户端状态一致，而Ceph架构的主要特点在于依赖客户端Hash实现数据定位，所以Ceph架构存在数据一致性问题；

其次是高可用问题，节点恢复和无法迁移时，需要改变Hash区间分布，一边改变一边迁移就会影响数据一致性访问。为了阐述Ceph存在的高可用缺陷，宁安举了一个真实案例：某大型企业有40多个节点的Ceph集群，某天两块硬盘同时出现故障，由于这两块坏硬盘的数据迁移恢复了10小时，过程中有部分数据是不能访问的；

第三是Ceph扩展性问题，这也是由Hash引发的问题。其扩容时每次只能增加一台，假如增加两台，Hash会受到损坏。扩容时只能等一台数据迁移完毕后，才能增加下一台。所以无法对它进行紧急扩容，只能一点点去做。

第四运维复杂，企业需要投入大量的人力、物力成本，甚至需要招聘特别懂Ceph的工程师。

青云QingCloud面向下一代的文件存储

为了顺应下一代文件存储四大特征，QingStor文件存储提出了三大创新架构：

首先，基于分布式块存储NeonSAN。它是具有高性能、强一致的块存储，没有本地文件系统在里面，涵盖分布式网关和NeonSAN两类节点；

第二，无限水平扩展。通过目录和文件分离存储的架构，元数据层存储所有索引目录，可以定位文件具体位置。还有一个组件是控制层，负责下层块设备的空间分配和事务管理；

第三，并行处理架构。所有的网关节点和NeonSAN节点是全互联的关系，每个节点之间都可以相互访问，且是通过最短路径。集群内数据复制与业务访问分离，分别通过不同的网络，因此在数据迁移和扩容时，不会对业务有任何影响。

宁安说，“基于QingStor文件存储的三大创新架构，QingStor文件存储的企业级特性可以做到安全可靠、强一致、高可用，并且具有超高性能、弹性可调，同时对成本做出了优化。”
除此之外，青云QingCloud面向下一代的QingStor文件存储还具备部署灵活和可视化管理的特性。

在部署环节，QingStor文件存储可以支持最小规模3节点的存储网关部署，与3节点块存储部署；对于网络，也没有特别要求，企业能够利用现有的交换机去部署TCP／IP网络，内部数据通信通过基于以太网的RDMA （RoCE），做到低延迟的数据复制；另外，企业可选的存储介质包括全闪存、在SATA基础上做SSD缓存加速，以及纯SATA。

为了更好地进行文件存储管理，QingStor开发了可视化管理的Portal，QingStor文件存储可以在Portal上，对于系统资源池进行管理，也能对于上层文件系统空间做管理，对于整个系统的运行状态和告警可以一览无余。

据了解，面向下一代的QingStor文件存储是青云QingCloud三款存储产品之一，另外还包括块存储方案NeonSAN，以块驱动的方式来暴露访问结果，适用于数据库和虚拟化场景；以及对象存储方案，能够存储海量的非结构化数据，是以HTTP API的方式暴露结果，主要面向新型web应用。