「杉岩数据」 孙永国:CDN遇上对象存储 杉岩CDN存储解决方案

2021-06-16 17:49:30来源: 热度:
亚太内容分发大会暨CDN峰会一直致力于推动CDN产业深度融合发展和市场普及,现已成为亚太地区影响力最大的内容分发网络盛会。十年来,在以阿里云、网宿科技、腾讯云等亚太CDN产业联盟成员孜孜不辍的努力下,CDN产业已经成为基础性设施网络,以坚定的基石之姿,支撑起中国成为世界最大的互联网市场。

随着全球数字化、“一带一路”战略的推进,亚太内容分大会暨CDN峰会的影响力正在逐渐向全球延伸,同时也将中国智造CDN及产业链推广向全球每一个角落。

在6月10日下午举办的【对象存储论坛】上,深圳市杉岩数据技术有限公司(以下简称“杉岩数据”)CDN解决方案架构师 孙永国发表了题为《CDN遇上对象存储 杉岩CDN存储解决方案》的精彩演讲。

孙永国表示,CDN非结构化数据存储正处于需求量爆发的时期,CDN和对象存储面临着非结构化数据带来的变化。随着新的CDN边缘节点部署,CDN云传输和用户访问将发生革命性的改变。从CDN溯源到用户就近访问之间的边缘云计算的数据量激增,倒逼非结构化对象存储升级和革新。

当前,音视频、图片、下载文件和静态脚本等待上传和处理等文件数据量庞大,数据预热和回源数据请求的计算量给以往传统的CDN中心计算提出了更高的要求,随着CDN边缘计算节点的普及和推广,数据分发模式向分散式非结构化的对象存储演进。用户可以访问就近的边缘节点,既释放了数据分发对象存储的压力,又极大地满足了用户的需求。

加速这一对象存储演进的根本原因是2020年数据结构性的改变。其实,从2015年开始,新增数据中非结构化数据的组成部分就开始呈现指数型的上涨,预计会从8 ZB (2015年)快速增长到了180 ZB (2025年)。

距离时间更近一些,在2020年,有80%的新增数据是非结构化数据。这种结构性的变化脱离不了用户对音视频产品和内容的消费需求的增长。非结构化数据主要的文件形式是文本、图像、图形、音频和视频等,在流媒体极速增长发展的今天,这些类型的数据存储必然会呈现出爆发式的增长。其实,在商业领域,非结构化数据更早占据了数据量的绝对占比,2020年商业领域,非结构化数据已占95%。

孙永国认为,对象存储天然匹配海量非结构化数据场景。传统的文件存储容量上限通常到百万级别TB,可是对象存储尤其是非结构化对象存储时代,文件存储数量上限当前可以到达百亿级别EB,可谓是天壤之别。因为对象存储采用的是HASH计算来检索文件,无元数据检索。

为了更好地适配非结构化数据存储的特点,杉岩数据在CDN平台和各级存储、服务、管理、接口层面实施了相应的解决方案。对象存储MOS方面,存储层提供双引擎,存储核心引擎和智能处理引擎。存储核心引擎,提供权限管理、系统管理、生命周期和元数据管理等功能;智能处理引擎提供了可插拔文件处理层,专门负责视频审核、内容分析、自动标签和智能生产,这极大方便了服务层。CDN边缘节点最后分散缓解了数据压力,通过边缘计算实现内容分发和视频点播。

孙永国表示,杉岩MOS模式提供的核心价值是整合存储-管理-智能,是为了应对大数据的挑战,深挖客户价值。
MOS的存储系统有四个方面的升级追求,追求从高性价比到极致效益,追求从高可靠性到极致安全,追求从高并发性到极致性能,从高扩展性到极致规模。

MOS的管理策略基于四个方面的考量。混合云存储的统一管理,数据存放在私有云,更加安全、节省成本,业务部署在公有云,更加敏捷、高效;实现边缘与中心间汇聚并发,简化总部与分支机构的数据管理;传统存储/SDS统一管理,纳管现有的设备,提高复用率;以及,全生命周期自动化管理,实现热温冷数据流动,简化运维。

MOS为了实现智能地价值深挖,优化了机器学习场景方案,加速模型训练。同时,杉岩数据采用的智能数据处理引擎,简化了业务流程,提升了处理效率。

基于上述架构,全分布式云存储就像高速动车车组,每节车厢自带动力,单个环节出现问题不影响整体运行,列车总动力等于所有车厢动力之和,即整体算力等于所有边缘节点和中心之和。自然而然地,更快的上传/访问下载、更高的并发数据读写能力、百亿级文件业务能力都可以实现。而且,值得注意的是,非结构化数据的安全可靠性得到保证,单个节点故障,系统副本和纠错机制就会启动自愈,并且成本也更加节省,因为单节点采用通用服务器,无中心控制器,无私有平台。

通过数据可查,杉岩MOS测试期间,对象数增长迅速,达到了30亿,而性能波动却不超过10%。开源平台测试对象数增至4亿,耗能却下降了83%。

在论及杉岩数据面向存储领域的目标时,孙永国回顾了杉岩数据的发展和业务拓展。

2015年,杉岩统一存储平台USP在制造业等行业上线商用,同期获得上海天玑数据天使轮融资;

2016年,杉岩数据推出面向海量非结构化数据存储和利用场景的智能对象存储的杉岩对象存储MOS产品,还推出自主品牌杉岩超融合一体机HyperCube产品,杉岩数据产品在中国移动获得近10个省级私有云的大规模商用;

2017年,杉岩数据获得顺为资本领投的A轮融资,并通过国家高技术企认定,产品应用于广发证券、广汽丰田、湖南建工等标杆客户,累计客户突破100+;

2018年,杉岩数据在IDC排名亮相,对象存储位列第二(15.1%),块存储位列第四(7.1%),杉岩数据收获了累计30多项发明专利及软件著作权,成功突破中广核、中国人保、中移物联网等标杆客户,全面覆盖10多个行业,20多个应用场景,累计上线 300+PB;

2019年,杉岩数据完成广发乾和领投、深圳市人オ基金跟投的B轮融资,完成飞腾、鲲鹏、海光等国产CPU和操作系统的适配,推出全国产杉岩HuaYan安全存储一体机产品,同年杉岩数据加入了信息技术应用创新工作委员会,参与编制的云计算国标 GB/T37732-2019 发布;

2020年,杉岩的业务扩展到更多的领域,客户数量和服务范围也进一步扩大,不仅完成中远海运领投,襄禾资本、无锡金投跟投的 B+轮融,还中标某省级数据中心2EB单一存储集群项目,累计服务 500多位客户。“数据引领未来,存储无限精彩”,杉岩数据一步步走来,用软件定义存储领导厂商,用产品来丰富非结构化数据存储和利用的场景。

孙永国专门把杉岩数据的自主研发能力做了详细的分享,当前杉岩数据取得的自主研发成果显著,累计交付容量4500PB,杉岩数据也部署了最大单一存储集群,达到2EB的容量。而且杉岩数据投入了大量的资源到自主研发,在深圳和成都都设立了研发中心,获得专利和软件著作权60多项,收获了800多位行业客户的信赖。

杉岩数据欢迎广泛的生态合作建立深度合作关系,在基础设施生态、云生态和行业生态三个领域联合了多家著名厂商、通信品牌和机构,其中不乏像华为、腾讯云、阿里云、科大讯飞这样的头部企业。

最后,孙永国强调了杉岩数据对国内市场的重视与售后投入。杉岩数据的16个办事机构遍布全国东西南北,研发中心辐射东西,有专业的团队支撑。杉岩数据提供全面的方案设计和专业的咨询服务,制度化地例行重大巡检和客户培训,7*24小时的售后服务也是杉岩数据的对客户满意度重视的体现,及时跟踪用户的诉求和追求最大化的用户满意度,随时为CDN对象存储保驾护航。


责任编辑:徐晓俊