「IBM」蒋军华:智能安全的数据存储—IBM COS对象存储技术介绍

2021-06-21 17:29:59来源: 热度:
亚太内容分发大会暨CDN峰会一直致力于推动CDN产业深度融合发展和市场普及,现已成为亚太地区影响力最大的内容分发网络盛会。十年来,在以阿里云、网宿科技、腾讯云等亚太CDN产业联盟成员孜孜不辍的努力下,CDN产业已经成为基础性设施网络,以坚定的基石之姿,支撑起中国成为世界最大的互联网市场。

随着全球数字化、“一带一路”战略的推进,亚太内容分大会暨CDN峰会的影响力正在逐渐向全球延伸,同时也将中国智造CDN及产业链推广向全球每一个角落。

在6月10日下午举办的【对象存储论坛】上,IBM技术集团解决方案销售经理 蒋军华发表了题为《智能安全的数据存储 IBM COS对象存储技术介绍》的精彩演讲。


IBM COS云对象存储概览

包含COS对象存储在内的IBM存储产品体系,提供硬件闪存或者磁盘和磁带存储,各方面的数据和权威第三方测评都显示,IBM一直是存储产业的领导企业。

IBM COS 广泛大规模部署

IBM对象存储已经搭建起很大的平台,承载了EB级的边缘计算和云数据,同时也为视频业务提供存储服务。采用IBM对象存储,部署成本和采购成本下降了44%,同样的容量采用IBM技术和第三方,能够产生非常大的差异;三年ROI达到了255%,只需8个月就可以收回投资回报。

IBM COS技术介绍

蒋军华随后对IBM COS技术进行了简单介绍,产品采用相对解耦的架构,左边是管理和监控运维的角色,该节点非必须,可以与右边混用。第二个是访问节点,它主要负责数据加密、解密、切片、检索,它是无状态、无中心节点。

在对相关存储的写入和读取方面,蒋军华以一张16MB图片举例,首先通过接口将图片传到访问节点,切割成4个大的片断,第二步可以做加密,第三步是将加密的4个片段再切片,第四步是将每个片段用纠缠码算法进行切片。假设下面有12个服务器分分布在三个站点,48个切片就写入到到存储空间里面去,置入不同的物理磁盘。

蒋军华表示,COS和CDN存在异曲同工之妙,二者都是打散去中心化,快速地交付完整的用户体验,让客户能够快速感知。读取数据时,任意从48个切片里面读到7个就可以进行合并、解密,再合并成原始图片回馈给客户。整个落盘和回读的过程,跟CDN原理架构是相似的,都是用相对分散的硬件去解决高并发或者快速读写的问题。

容错方面,原始数据7片做纠缠码之后是12片,相当于1.5倍,读出其中7片就可以读出完整数据。假设第三个站点宕机,依然有8个节点提供数据;假设在这个过程中,又有一台物理机损坏,依然可以把数据读回,12台机器同时损坏不超过5台,数据都是可读的,容错性非常好。

蒋军华根据上述演示,总结了COS优势:


01 跨地域分布式纠删码应对海量数据存储的挑战

既要成本低又要可靠性高,纠缠码能够很好地处理这一问题。在传统领域用三副本,理论上对1PB裸数据进行存储需要3.6PB裸盘空间,如果用1.8倍纠缠码的冗余去做,比传统的方案节省一倍的空间和成本,还不包括机房和多站点之间做数据同步和软件的费用。

02 高可扩展性之极致简化

解耦架构的扩展非常方便,如果数据访问性能不够,处理性能不够,系统的访问慢,增加一组Accesser节点就可以了;如果空间不够,向下扩展Slicestor空间就可以了。在传统B端,一般都是硬绑定架构,必须是一个访问节点匹配多少存储节点,公有云可以做到像IBM这样的架构。IBM的对象存储从2004年开始就是为云上的数据而生,本身就是云原生的,所以扩展性好且方便。

03 高可靠性和可用性之创新IDA

维持高可用,实际上就是IDA,依靠信息离算算法来实现高可靠性。可变的纠删码设置,可以调整纠删码配置来提升存储空间利用率或实现更高级别可用性(地理容灾);支持任何站点数部署,并可以随时进行调整,无业务中断;无需额外软件提供数据同步和一致性检查。

04 高性能之创新ZSS引擎

高性能,IBM在去年5月份发布了ZSS引擎,采用专利数据读写引擎 Zone Slice Storage (ZSS) 技术让存储跳过Ex4文件系统,直接在磁盘读写,避免本地文件系统开销,大幅提升性能。以IBM之前的对象存储作比较,用106块4T盘做读数据访问操作,能够比原来提升300%;用12个通用的存储机器做到55G/S数据访问带宽,这在业内是首屈一指的,ZSS引擎的确是业界的创新型突破。在ZSS引擎的帮助下,跨北上广、跨国、跨区域读取数据时,时延也会减少30%。采用IBM COS测试图片和视频归档,“读”能从20分钟缩短成5分钟,“写”从20分钟缩短成8分钟,这都是非常量化的数据,也是实测能够达到的。

05 丰富的应用生态

IBM一直秉承和合作伙伴共赢,构建了丰富的生态,对象存储在传统的用户印象中可以做归档备份、协同办公;IBM和不同的业内应用软、硬件厂商有很好的集成解决方案,拥有大量成功的客户案例,目前IBM已经有超过100种业内不同的应用认证解决方案。


06 多样性的选择创造长期价值

客户购买IBM COS的方式也多样化,既可以买IBM一体机,也可以买IBM认证的硬件加IBM软件,还可以扩容的时候选择不同的扩容方案,以构建统一的对象存储。目前IBM在国内没有公有云,海外的IBM公有云可以提供对象存储服务,国内出海企业可以在IBM公有云上购买相关的云服务。

07 灵活的部署选项

蒋军华表示,IBM提供高效能的单站点部署、双站点镜像部署以及三站点或以上的灵活部署方式,对于有条件的企业来说,蒋军华建议部署三站点以上,以提高数据的可靠性。

08 配置的灵活性

IBM可以从最小的100多T容量起构建对象存储,3台机器就可以起步,没有10PB、100PB起步这样的门槛,从少量到海量,IBM均可以提供。

IBM COS案例

大型的运营商主要是边缘计算设备部署IBM,目前数据超过200PB。

这是KDDI,日本的运营商,提供综合的服务,目前已经有超过18亿张照片和3000万视频,存储在IBM COS上面,几乎可以无限扩展。

某媒体提供商,交付IBM COS容量已经超过1EB。

不管是传统的B端客户,还是新兴的做云或者提供云服务,IBM COS除了可以给客户做私有云化的部署之外,还可以帮助用户做混合云的部署,包括跟国内的云厂商一起做混合云,前提是提供机器做认证就可以。

混合云或者混合多云一定是未来的必然,混合多云的交互和实施,作为传统ToB业务的厂商,IBM至今已有110年,是IT界的“祖师辈”企业,与这样的厂商合作也是客户最放心的。


COS带给客户的价值



最后蒋军华回到大会主题,分享了他对于CDN和对象存储的理解,他认为,无论是CDN还是对象存储,目标都是希望让数据永远在线,创造更大的价值;只有数据永远在线,才能被更多人获取到、感受到,无论是CDN还是对象存储,追求的都是效率、容量、可用性和性能,这也是IT行业本身不懈的追求。希望不管是IBM对象存储还是其他的技术,能够和CDN产业一道,让数据永远在线,服务广大群众!-

责任编辑:徐晓俊