搜索历史
热搜词
「阿里云」罗庆超:对象存储OSS支撑CDN场景的经验教训
| 2021-06-21 16:50
亚太内容分发大会暨CDN峰会一直致力于推动CDN产业深度融合发展和市场普及,现已成为亚太地区影响力最大的内容分发网络盛会。十年来,在以阿里云、网宿科技、腾讯云等亚太CDN产业联盟成员孜孜不辍的努力下,CDN产业已经成为基础性设施网络,以坚定的基石之姿,支撑起中国成为世界最大的互联网市场。

随着全球数字化、“一带一路”战略的推进,亚太内容分大会暨CDN峰会的影响力正在逐渐向全球延伸,同时也将中国智造CDN及产业链推广向全球每一个角落。

在6月10日下午举办的【对象存储论坛】上,阿里巴巴资深技术专家、对象存储OSS负责人 罗庆超发表了题为《对象存储OSS支撑CDN场景的经验教训》的精彩演讲。

罗庆超从多个角度出发,讲解了阿里云对象存储OSS和CDN结合过程当中的总结和教训。

一 如何提高互联网全球访问体验

提高互联网全球访问体验,需要全球部署的CDN网络支持,而在双十一这样的特殊节日怎样提高用户体验呢?罗庆超表示可以通过L1-L2-L3缓存再回到源站实现,源站不能是唯一的,要在不同的国家和地区构建源站,在此基础上构建圈层。尤其是在海外,根据国家地区的网络的情况去甄别出50毫秒的圈层、100毫秒圈层等,通过圈层部署源站,再搭建L1、L2、L3缓存,这样应用才能达到秒开效果。对象存储作为CDN源站是非常好的选择,阿里云对象存储OSS支持了淘宝、支付宝等阿里绝大部分应用,支持了CDN百Tbps级别的全球访问流量。

二 如何保护数据隐私和安全防护

如果没有为APP做安全隔离设计,数据就面临泄露的隐患。2020年,全球发生了2932起安全泄露事件,泄露记录达到370亿条。为了防护黑客攻击,对象存储的数据隐私、签名都要做防护。

OSS提供云认证体系、访问授权功能,数据可以只被指定账号使用、指定IP访问,通过日志还可提供访问审计。除了数据隐私被授权访问外,还需要面对应用突然爆发带来的影响,例如游戏类客户被竞争对手攻击,疯狂下载客户的图片、视频,让费用陡然增高,之后欠费停服。因此在CDN层面和对象存储层面,一定要做到防攻击,特别是是CC攻击、DDOS攻击能力,同时OSS提供用户带宽上限、单链接限速、沙箱防护等特性,发现谁攻击就直接把攻击来源拉入黑洞,让攻击方无法攻击整个系统。

三 如何保证数据不丢

访问的数据不存在会导致业务失败,数据丢失对于企业的影响非常大,据统计如果企业丢数据10天,则 93% 的企业将会在一年内倒闭。

没有数据可靠性衡量标准,对于云厂商来说是不可接受的,因此阿里云OSS定义了云可靠性度量的指标。通常业界对象存储是11个9的年可靠性标准,表示每年可丢失0.000000001%对象,这是可度量的值和厂家明确的定义,可以通过该标准来判断可靠性是否满足业界要求。

存储服务是云服务中最基础的,有了这个标准之后就可以让SaaS、PaaS放心使用。OSS经过优化,把这一指标提高了10倍,其中有不少关键技术,例如降低年故障率AFR,故障率降低修复的代价就越小;跨数据中心的算法,实现数据中心损坏依然有方法把数据找回来,通过这些技术把可靠性标准提高。

四 保证数据不错

数据错误存在于以下场景中:使用IT设备的时候经常会遇到这样的问题,硬盘发生静默错误,一块硬盘放置了几年,文件无法找回了,原因是存在硬盘中的介质数据是会翻转的,数据翻转的影响非常大,尤其对于金融系统,1翻转成0带来的影响和损失不可估量。因为规模非常大,除了硬盘静默数据错误外,也会发现服务器的网卡翻转,以及CPU的静默数据损坏。其中CPU静默数据损坏最难处理,谷歌和脸书都发表了相关论文,阿里也正在和高校合作一起探索解决该问题。

除了硬件错误外还有软件错误,特别是软件BUG会导致数据丢失,如果元数据收到影响,则可能从一台机器扩散到一个集群,甚至被数据复制功能扩展到全球整个服务,所以数据出错是非常困难的一件事。通过数据校验设计,端到端全流程跟踪数据错误。单纯依靠主动防护检查是不够的,还需假设数据就会出错来设计防护机制,特别是快速检测BUG、快速修复数据,将整个机制有机结合起来,才能真正的保证数据在软、硬件异常时不丢不错。

五 如何提高数据访问成功率

提高访问成功率,可以提高APP的用户体验。阿里云支撑业界APP的应对方法就是提供99.995%的可用性SLA。日常生活中APP访问成功率影响体验的场景,就是去扫码支付时,一直不成功无法交易。当今的国民级APP应用一旦出现不可用,并且超过30分钟,肯定引起重大舆情。

解决这一问题,需要使用可用性SLA度量指标,业界对象存储典型的可用性SLA为99.9%,而OSS依靠大量的冗余架构设计,将该指标提升了10倍以上,达到99.995%,从而支撑上层APP达到5个9的可用性。除了冗余架构设计外,基于公共云的DEVOPS机制,快速迭代、优化问题、智能运维都是帮助异常快速恢复的关键机制。

六 如何提升容灾能力

针对光纤挖断、地质灾害等意外带来的数据中心级故障OSS做了容灾设计,从一个数据中心将数据复制到另一个数据中心,从而保证业务连续性。

为了让多个数据中心同时提供服务,OSS还提供异地多活解决方案,它结合跨地域复制和镜像回源功能,数据从主站写入,OSS然后复制到备站,然后就可以在三个数据中心读取数据。当在备站读取时没有得到最新数据,那么采用镜像回源去主站读取最新数据。阿里云上有大量应用采取异地多活的方案,提高了数据容灾能力同时,提供多活功能,实现高可用。

七 解决海量数据扩展性

通过业务使用数据的方式来看,目录层级设计是限制文件系统扩展的瓶颈,特别是到了百万亿量级,使用目录的方式非常难。对象存储OSS采用平坦模式管理数据,在EB级规模下实现线性扩展、按需付费、读写高效。

八 如何优化性能

数据存入对象存储后,还要关注性能,特别是带宽、QPS、时延。所以在对象存储设计时,要对这三方面的性能进行全方位考虑,找出数据热点、时延抖动原因,针对瓶颈进行优化,从而实现高性能。针对数据湖场景还提供性能加速器,它靠近计算的可用区部署,让带宽和时延都得到更好的满足。

九 如何高效处理数据

罗庆超以内容分发为例,该场景需要大量处理图片、视频、文档,分发给不同的终端,将不同尺寸的图片在CDN全部缓存,成本很高。可以在需要时,才对图片进行实时处理,此时使用OSS的图片处理功能按需进行图像处理,从而减少在海量的CDN节点来处理图片,大大降低计算成本。

OSS在数据中心内提供数据就近处理框架,该框架支持多种运行环境,能够卸载各种算子,支持实时、离线处理,大幅度优化存储、网络、计算成本,这就是做OSS数据处理背后的设计逻辑。

十 如何提升优化图片体验

通过OSS访问对象的url后面指定参数,就可以完成图片处理,非常简单易用,可以称的上是云上PS,无需本地安装图片处理软件、非常高效,目前支持6种类型的格式,并且通过加速之后时延下降80%-90%。

十一 如何提升优化视频体验

如用户想对视频进行截图,然后进行协作编辑,调用OSS的视频处理就非常合适。只需要在OSS访问对象的url后指定视频截帧参数即可。整个处理都是在后端,对成本、时延、体验都非常好,阿里云上有大量视频团队调用该能力处理数据。

十二 如何提升优化文档体验

处理文档方面,可以直接在对象存储上实现文档的预览和转换,应用最多的就是钉钉。基于钉钉APP,手机上不装任何文档处理软件,就可以实现48种文件的预览,而实际上整个预览都在OSS上完成。文档转换场景,使用最多的就是生活中开发票,其背后就是文档转换,将发票抬头、税号、红印章在word文档中编辑,然后转换成PDF格式,大量线上做文档转换公司也在采用该技术。

十三 如何优化成本

如何降低成本是客户非常关心的问题,每年SS重要的任务就是和业务团队讨论成本怎样优化。从访问的路径可以看到,CDN从L1缓存、L2缓存、L3缓存、再回到源站OSS,在整条路径上拉专线,就能降低成本。第二个路径,如果访问CDN命中率低,客户端可以直接访问OSS,它减少了访问的网络路径从而成本更优,因此根据命中率优化访问路径也是降成本的重要手段。

十四 如何做好数据管理

数据治理,核心是根据数据的热度进行有效的成本优化。不少互联网应用都具有热点效应,数据集中在几周或一个月内高频访问,之后很少使用。因此,热点数据使用性能最好的标准型,价格高、性能好;访问较少的数据,保存到归档性,价格低、性能弱。数据治理时,就要根据数据的冷热度,配置生命周期策略,OSS自动将标准型数据迁移为归档型数据,从而让整体成本更低。

罗庆超最后表示,数据治理是对象存储中很关键的技术,也是很愿意和同仁们一起分享讨论的技术点。

阅读 参与讨论 评论(0)

强化五一假期效应 虹魔方发力大屏运营
 04月28日
强化五一假期效应 虹魔方发力大屏运营
倪健中会长:推动中国发起全球元宇宙大会联合会
 01月04日
倪健中会长:推动中国发起全球元宇宙大会联合会
第五届数智中国科技周·全球元宇宙大会(深圳站)收官战报...
 01月04日
第五届数智中国科技周·全球元宇宙大会(深圳站)收官战报来啦!
学术盛宴!人工智能国际治理学术论坛12月18日下午重磅举办!
 01月02日
学术盛宴!人工智能国际治理学术论坛12月18日下午重磅举办!
深广电王斌:数字科技引领媒体融合
 01月02日
深广电王斌:数字科技引领媒体融合