爱奇艺AI竞赛聚焦“多模态视频人物识别”赛道 视频人物识别精准度达到国际领先水平

2018-11-21 09:23:03来源:爱奇艺 热度:

为了推动人物识别在视频智能分析产业中的广泛应用,爱奇艺联合中国模式识别与计算机视觉大会(PRCV2018)共同发起“多模态视频人物识别挑战赛”。近日该赛事公布了最终结果:InfiniVision&帝国理工学院iBUG(DeepInsight)团队、百度VAR团队、以及周同科技与北京工业大学组成的团队分获前三名。此次获奖的三支团队通过不同的算法,提升了人物识别技术的精准度。在人脸识别领域具备国际领先水平,曾在MegaFace2018百万人脸识别领域比赛中获得第一名的 InfiniVision&帝国理工学院iBUG(DeepInsight)团队以MAP平均精度均值88.65%的优异成绩在本次比赛中再次折桂。赛后,爱奇艺在此基础上成功利用头部、声音、人体等多模态特征融合信息和更少的模型,进一步将精准度提高了0.8%,在视频人物身份识别技术上取得了重要突破。此次竞赛的颁奖仪式将在11月23日中国模式识别与计算机视觉大会2018(PRCV2018)上进行。
 

基于人脸、声纹、姿态、场景等多模态特征的人物识别技术属于AI领域中前沿的技术。目前在人脸识别领域最热门的评测竞赛包括LFW与MegaFace,前者侧重于对比两张人脸照片是否具有相同身份,后者则是以在海量注册人脸中检索特定人脸的准确率为重要指标。而此次爱奇艺推出“多模态视频人物识别挑战赛”则是侧重基于人物的声音、体态、着装、行为举止等多维度进行综合识别,更接近真实场景的需求,难度更大。为此,爱奇艺向全球的参赛团队开放了目前全球最大的明星视频数据集(iQIYI-VID),其中包含5000位明星艺人,以及长达1000小时、50万条视频片段。此举吸引了包括纽约大学、瑞典隆德大学、新加坡国立大学、东京工业大学、百度公司、小米公司、微软等全球顶尖高校以及行业领先的公司组成的397支参赛队伍参与。

此次获奖的InfiniVision&帝国理工学院iBUG(DeepInsight)团队利用one-stage人脸及关键点检测器来进行多姿态人脸检测和对齐,并且利用ArcFace/Insightface在清洗后的公共数据集上进行训练, 微调参数获得了多个人脸识别模型,对特征融合后获得的视频人脸及场景特征进行MLP网络的训练,提升了人物识别技术的精准度与召回率。百度VAR团队通过对损失函数、训练流程的改进,以及结合一些非监督的数据清理方式,检测到低质量的人脸(模糊、侧脸),增加了多模态的信息,利用了视频中场景、行人等信息,使得最后的检索结果有了进一步的提升。在提升检测结果方面,周同科技与北京工业大学组成的团队却采用了完全不同的方法,他们基于视频人物人脸特征、人脸质量、近景远景视频场景特征,挖掘多模态信息间的相关性,构建基于规则分层的多模态融合算法,有效提升了人物搜索的排名。

AI已经成为在线视频领域的新赛道。基于在这个领域的长期积累,爱奇艺已经将视频识别技术应用于实际业务中,上线了一系列基于AI技术的产品,人物识别精准度的提升将进一步优化爱奇艺娱乐生态系统的方方面面:爱创媒资系统、艺汇智能选角系统等已经应用于自制内容的制作,将会进一步优化娱乐生态系统的效率; 基于智能人物识别的“只看TA”、以图搜剧等功能可更精确地捕捉视频画面,为用户带来更为个性化的观看体验; 智能化广告点位选取,更在保证用户体验的基础上,最大化广告主的收益,进而增强爱奇艺的货币化能力。

举办AI竞赛是爱奇艺推动行业技术进步的重要举措。爱奇艺旨在不断通过产学研合作,不断探索前沿技术,实现前沿技术的落地与应用,不断为用户带来极致体验、优化娱乐生态系统效率以及增强爱奇艺的货币化能力。爱奇艺近期发布的2018年Q3财报显示,本季度爱奇艺研发费用为人民币5.584亿元(约合8130万美元),较2017年同期增加63%,目前,各项尖端技术正在应用于更好地提升用户体验和制作、分发内容。未来,爱奇艺将不断通过前沿技术推进娱乐行业的智能化进程。

责任编辑:张晓宝

为您推荐

爱奇艺:改变“视”界

4月22日,爱奇艺两周年庆典在深圳举行。高朋满座自不必说,分享成长历程当然也是必须。“短短两年间,爱奇艺在中国视频领域开创了一种崭新模式,蓬勃的发展让我们始终坚信、坚持、坚守‘悦享品质’的核心价值理念。不断夯实爱奇艺在技术、内容、商业价值等多点核心竞争力,继续快速发展。”奇艺公司CEO龚宇在庆典现场说道。坚持正版高清爱奇艺在过去两年中的高速发展,引领了高品质长视频在中国从无到有、从小到大的快速成长历程,塑造了标杆性的高品质网络视频播放品牌,一跃成为中国网络视频行业视听体验革命的开拓者和领导者。2010年4月22日,率先以高清、正版长视频为模式的爱奇艺正式上线,在两年时间

互联网公司群雄逐鹿 争夺流量变现能力

如果一家互联网公司没有流量,它不是在沉默中爆发,就是在沉默中死去。如果一家互联网公司旺丁不旺财,“群雄逐鹿”背后,互联网商业模式的较量就是流量变现的较量。从走过“成人礼”到升华变现手段,在近日举行的2012年百度联盟峰会上,他们有话要说。现金奶牛:搜索数据南都:百度流量主要来源网站、联盟和移动搜索,尽管网页搜索流量的变现是百度强项,但现在外面的联盟非常多,加上无线变现力普遍不高,百度联盟和移动搜索的流量变现将面临哪些挑战?向海龙:外面的联盟确实非常多,而且还是一个完全开放的市场。但是我认为就目前来讲百度联盟是最具有竞争力的,最主要的一点就是百度联盟平台整个变现能力是最强的。为什么这样讲?因为任

引入第三方监管 爱奇艺破解视频移动端盈利模式死结

视频移动端盈利模式一直是视频网站需要待解的死结,不过,这一行业顽疾被视频网站爱奇艺成功破解。近日,爱奇艺在iPad和iphone端同时引入了CPM(每千人成本)广告售卖模式,并在业内率先支持秒针、AdMaster、尼尔森、好耶(机构排名不分先后)等权威第三方曝光监测。视频移动端长期以来跨媒介广告投放效果难以科学计量、缺乏有效赢利模式的死结终于被解开,同时也为视频移动端广告的规模化售卖创造了无限可能。对此,秒针系统公司首席执行官祝伟表示:“在多屏融合的时代背景下,跨屏视频广告的监测与评估成为广告主的迫切需求,与爱奇艺在第三方监测方面的合作对满足这种需求是非常好的探索。”另外,业内分析人士认为,i

爱奇艺破解视频移动端盈利模式死结

——iPad、iPhone端广告实现标准化售卖近日,爱奇艺在iPad和iphone端同时引入了CPM(每千人成本)广告售卖模式,并在业内率先支持秒针、AdMaster、尼尔森、好耶(机构排名不分先后)等权威第三方曝光监测。视频移动端长期以来跨媒介广告投放效果难以科学计量、缺乏有效赢利模式的死结终于被解开,同时也为视频移动端广告的规模化售卖创造了无限可能。秒针系统公司首席执行官祝伟表示:“在多屏融合的时代背景下,跨屏视频广告的监测与评估成为广告主的迫切需求,与爱奇艺在第三方监测方面的合作对满足这种需求是非常好的探索。”分析普遍认为,iPhone和iPad等移动网络终端的快速普及,为影音娱乐等用户