「华为云」武杰:华为云RTC,打造全场景、全互动、全实时音视频体验

2021-02-18 10:36:33来源:亚太CDN产业联盟 热度:
2020年12月17日至18日, “Distributed Cloud|2020全球分布式云大会”在深圳正式拉开帷幕。大会邀请到华为云、腾讯云、阿里云、金山云、浪潮云、蚂蚁集团、政府主管部门、标准制订方、以及深圳TOP200流量主级运营商等云原生、边缘云开发者相关企业共同参与,以推动技术变革,适应时代发展。
 
 
在12月18日上午的“X-Meetup音视频技术领导力论坛”上,华为云视频云架构师武杰围绕RTC场景应用、华为云RTC架构、技术研发流程等内容,带来以《华为云RTC,打造全场景、全互动、全实时音视频体验》为题的精彩演讲。
 
武杰首先对音视频技术发展做了回顾和展望,随着网络的发展,从3G、4G一直到5G,基于网络的沟通方式,从最原始的IM,到点播+评论,再到直播+弹幕,再到今天4G和5G交接,音视频技术也随之逐步地发展升级。未来的场景将是以实时音视频作为基础能力,支撑云渲染、虚拟空间以及AI、IoT的发展。
 
关于RTC的应用场景发展,武杰介绍道,最早的时候,RTC的主要应用场景是人与人的高频音视频互动,在实时视频/语音沟通方面,RTC能提高沟通效率,实现高频沟通互动,如视频会议、移动视频社交、远程在线教育等。近年来RTC开始向普通场景发展,结合行业应用,带来沟通互动泛化和协作效率提升,如智慧办公、应急指挥、远程医疗等。

未来随着万物互联的时代到来,利用RTC技术能够连接更多的人与物,实现智能实时互动,如智能家庭终端、智能汽车、智能手表等的音视频交互、操控。人与人的互动在这次变迁中只是起始,未来人与物,物与物的协作还将继续爆发。
 
提到华为云视频打造RTC的目标,武杰说,华为云希望用一个统一的网络、一个统一的系统去解决交互和直播的融合场景,实现会议、直播、连麦以及后续其他继续深入的场景支撑。
 
随后,武杰详细介绍了华为云RTC架构:
 
华为云RTC是基于华为云的基础设施去打造的,在整个环境中分为5层架构:
最上层是Global区,承载了数据、内容管理调度等相关的能力;
第二层Region区,配置的是RTC的增值能力,例如截图、审核、转码、RTR等。
第三是中心,例如媒体处理服务。
第四是边缘,第五层为用户。
 
武杰表示,目前华为云正在尝试将云上的增值服务能力逐步下沉,目前已经取得了不错的进展。
 
武杰也对华为云流水线管控开发到生产系统部署的全过程进行了讲解。华为云从开发到线上发布,采用的是标准化的流水线过程,其中涵盖了构造、测试、验证、后续发布,再将服务布局全网的过程。
 
为更加直观的对比介绍RTC技术应用,武杰对传统直播架构进行了介绍,传统直播大多是三层架构,包括边缘接入侧、CDN中心和直播源站的增值能力。对于传统的直播来说,整个流程都会经过三级的网络架构,一直到源站上汇聚,成本比较高;传统的视频网络架构,是比较静态的架构,调整优化空间非常有限;此外传统直播里的全链路TCP,会导致丢包,让视频质量迅速下降,影响观众体验。
 
实时音视频和传统直播一样,从服务层面也是分成了3层结构,但是在上行方面,并不像传统模式把流全部推到中心节点,随着整个RTC的接入,上行流在接入节点固化,无人观看的流不产生流量成本,通过调度+路径规划,确保下行观众到上行边缘经过尽量少的节点,尽量短的路径,达到时延和质量最优。在长距离传输引入ADN,单流多路径选择,确保长距离传输下时延和可靠性最优;协议栈层面兼容传统直播协议(HTTPFLV/RTMP/HLS),引入华为自研RTC以及标准WebRTC支持,后续会继续兼容其它协议,如SRT,QUIC,GB28181等部分增值业务节点可下沉到接入节点。
 
之后,武杰对华为云实时传输的协议栈进行了解读,华为云RTC将多个低时延流绑定到同一个房间,并处理相应的选看,状态通知等逻辑。在一些极端体验场景下,使用ADN单流多路径分发能力,确保包级别的路径选优。在低延时直播中,华为云直接使用单向流分发能力,兼容WebRTC和自研HWRTC,端到端时延可以达到RTC水平。未来华为云目标将这个协议栈打造成直播RTC共用的基础网络传输组件。
 
关于华为云RTC实现低时延的关键,是智能编解码+网络自适应双轮驱动,兼顾成本和体验,私有抗网损算法、智能调速、智能编码技术是其中关键。
 
私有抗网损算法
 
前向纠错算法:超强纠错技术,针对分组分包优化;
自适应冗余:根据网络带宽、丢包率进行自适应冗余调整;
自动重传HARQ:根据网络时延等自动选择是否重传;
AJB自适应抗抖动Buffer:根据网络抖动自适应调整抗抖动Buffer。
 
智能调速
 
智能网络探测:根据时延/丢包率关系,判断网络模型及可用带宽,控制编码速率与纠错方案;
视频自动升降速:传输带宽降低或恢复时,主动降低或恢复视频帧率、视频分辨率,以实时匹配当前带宽下最优视频质量。

智能编码技术
 
音视频分层编码:SVC可伸缩分层编码, 视频以不同的码率、帧率、分辨率和视频质量解码。音频多描述分层编码,自适应码率调整;
实时超分:体验提升一档, 360P->720P,低消耗;
ROI优化:人脸采用高分辨率编码,躯干与背景次之。
 
紧接着,武杰从三个案例出发,介绍了华为云RTC支撑的主要场景。
 
01 会议场景
 
以RTC技术和华为云会议系统进行对接,打造千人协议,可以让会场支持千人互动,还能支持万人级观众参与,让观众和发言者可以进行自由切换。同时支持云端低于100ms超低时延合流,降低纯观众播放带宽和成本。
 
02 教育场景
 
华为云RTC除了支持传统的在线教育外,也支持子母课和万人大课堂等全新教育模式。经由RTC技术加持,可以将学生实时分组,老师掌握分组情况,采用多房间加入方式来实现全新的教育互动。
 
03 电商直播
 
传统的电商直播,受限于原有的网络问题,观众只能通过弹幕的方式和主播进行交流,导致转化率比较低,而传统的连麦架构会导致从互动退到直播的长时延,体验度很差。华为云推出的解决方案,保证了互动端和观众端时延是在300ms以内,整个过程中,观众可以随时切麦和主播进行互动,把场景打造成更接近于线下买卖的模式,从而提高电商转化率。
 
最后,武杰对RTC的未来发展表达了自己的期待,他说,今后RTC在行业方面的应用,除了强互动类以外,还会继续延伸至各行各业,包括物联网、物与物的交互等,相信未来RTC会成为最基础的网络能力。

责任编辑:吴昊