「希捷科技」李蓁：希捷科技软硬件创新助力分布式存储发展

 

在12月18日下午的“分布式存储论坛”上，希捷科技资深解决方案工程师李蓁带来《希捷科技软硬件创新助力分布式存储发展》为题的主题演讲。演讲中，李蓁分享希捷科技在分布式存储上关于软件、硬件的创新。
 

 

今年10月，Filecoin主网上线。李蓁认为，这对于分布式存储行业，对于希捷科技而言，毫无疑问是非常重要的一年。今年12月，希捷科技将第一个激光热辅助硬盘送样，这对于希捷科技来说行之有效的产品创新。

 

那存储是以什么样的方式对数据进行保存的呢？李蓁认为企业的数据中心基本设施软件，无论是IPFS，还是其他去中心化储或集中式存储所要解决的问题。到硬件底层这部分，怎么样降低发一个TB数据存储的成本，要依赖于存储器件每TB成本的降低。热辅助硬盘开始送样，意味着机械硬盘的创新开始进入新的时代。随着热辅助硬盘开始批量发货，预计到2025年之间，机械硬盘会以年化复合增长率35%的速率开始容量的增加。

 

李蓁介绍，以前机械硬盘容量的增加非常简单，每年增加2个TB，随着基数的增加，每年增加2个TB，相当于增速在下降。但有了热辅助后，希捷科技可以维持这个增速，确保行业伙伴们在构建新一代分布式存储基础设施的时候，能够享有更低的TCO。

 

对于IPFS或是Filecoin而言，怎么去高效可靠的存储数据？每个存储服务的提供商必须要考虑高效和可靠性。今年9月28日，希捷科技上线了自己的存储软件，叫CORTX。

 

CORTX是什么样的架构呢？李蓁讲解道：“说到对象存储，我们的第一反应是Ceph，但Ceph经过20年的迭代发展，到现在超过24个大版本。在任何一个云服务厂家的数据中心里，只要是对象存储，肯定能找到一个模改的版本。因此希捷在20年后推出对象存储软件，从用户来说，解决了几个重要的问题。”

 

李蓁介绍，无论是行业用户，还是处在发展阶段的用户，导入的机械硬盘比像谷歌、阿里、腾讯等用户至少慢了两代。如今，希捷科技的互联网用户已经开始在他们的生产环境里导入16T、18T，甚至更高的容量点。希捷科技基于硬件，从硬盘这层开始做垂直的硬件整合，闭环了从硬件到软件，帮助用户更高效、更可靠构建对象存储环境。

 

李蓁举例介绍，对象存储的Ceph作为20年前研发的产品，研发时并没有考虑到硬盘会进入20TB的存储容量级别时代。李蓁发现，很多用户把Ceph搭建起来后，要切换更高容量点的硬盘时，需要尝试使用更大容量硬盘降低TCO，这时用户会面临很多挑战，例如，硬盘不管是多少容量点，性能、吞吐量始终停留在200多兆，IOPS始终在200—400之间。而且随着容量的增大，每一个TB对应的性能就要下降，这时因为文件离散度分布增加，相同规格的服务器性能会降低了。因此，希捷科技研发的CORTX存储软件，专为这样的用户提供了通过使用大容量机械硬盘降低TCO的存储，不需要自己在存储软件上做很多调整，直接在希捷科技的环境里使用超大容量的机械硬盘。

 

如今，Ceph现有的跨网络节点实现的纠删码都会出现一个问题，当硬盘容量很大时，数据重建效率很低。希捷科技有一个指南，用户现用的纠删码达到比较理想的重建效率时，每个GB内存要对应一个TB的硬盘容量。当一个节点容量膨胀的情况下，到底要在服务器和上配多少DRAM，来保证纠删码重建的效率？李蓁介绍，希捷通过自研的芯片，提升纠删码重建的效率，整个可靠性提升了至少10倍，而数据重构的时间降低1/10。李蓁在演讲中展示一张图表，清楚地将CORTX跟现主流的对象软件对应的优势展现了出来。

 

除此之外，CORTX对象存储软件是直接对裸盘进行操作，不需要文件系统，因此文件访问的效率会得到极大的提升，性能会增加。CORTX跟希捷科技的硬件做了解耦，现在所有的IPFS设备都是运行在X86架构的机器上，但希捷的CORTX软件和硬件解耦之后，可以运行在ARM架构的CPU上。李蓁表示，这对用户来说，从整个CPU架构的选型上会有更多的弹性。

 

李蓁展开介绍道，CORTX软件和硬件解耦让用户在选择的时候，没有读取的放大。它本身对于机器人学习和人工智能有更友好的特点，可以在数据上标数据。例如，无人车需要对采集回来的视频数据做标注，因此，之后的人工智能可基于这些标注去进行学习，因此这也是软件的特点。

 

最开始，希捷科技在内容实现的架构，是希捷科技的开源项目。但对于这繁琐的流程，CORTX做了极大的简化，如今实现直接访问和直接存储。

 

随后，李蓁分享有关解决时空故障集中爆发问题的一篇论文，从可靠性上将CORTX与传统数据保护技术做了比较。李蓁讲解道：“横轴是受影响的机架，纵轴是每个机架里同时出现故障的硬盘数量，圆圈代表的是这个事件发生的概率。从圆圈的大小可以知道，在一个机架里面同时发现多架硬盘故障，跟多个机架里同时发现多个硬盘故障的几率是差不多的。这时，需要有更高容错度的对象软件来屏蔽故障集中爆发。”希捷科技通过结合硬件和软件，可以实现把数据的可靠性在降低成本需求的前提下，可以做到更高级别，从而实现可靠性的提升。

 

演讲最后，李蓁总结道：“CORTX实现的是全栈开源，包括其界面都是100%开源。希捷科技为帮助行业内用户把超大容量机械硬盘在数据中心环境里使用起来，帮助大家无缝衔接超大容量机械硬盘，在往应用层的创新和CORTX软件上，可以给大家构建一个更高效、更低成本的对象存储环境，方便大家在分布式存储领域，以及它的生态里面做出更大的贡献。”