被VR拯救的3D音效 专注欺骗大脑一百年

2016-08-31 11:49:50来源:爱活网 热度:

VR受到无数追捧,随着自身技术的发展,带动了一批产业的升级换代3D音效正是其中的一员。在开发者对游戏画面、内容多年来越发精益求精的发展下,游戏的VR化,终于迎来了游戏音乐的春天。Waves Audio发明带有头部追踪器的Waves Nx耳机实现3D空间音效;谷歌的开源项目Omnitone,为网页VR提供真实的音频系统。3D音效,在音乐发烧友的世界之外,获得了更多行业的关注和投资。不过,这个通过音效让人身临其境,仿佛与表演者身处同一个空间的3D音效,和所有人以为的“现代”、“前沿”不同的是,它的开发有着上百年历史。
 
3D音效:人头录音
 
3D音效的目的就是让你完全置身于现实声音的原始环境中,你能感到鸟从头顶飞过,左边有耳语,右边有街头表演,感受到声音的位置,在脑海中浮现出真实的画面。
 
传统上,录音被分为单声道(Mono)和双声道(Stereo)两种,区别在于捕捉声音的传声器的数量。在双声道录音的基础上,人们改进发明了立体声录音(人头录音),在仿真头的两侧,放置两个人耳形状的传声器。人脑定位声音位置基本依靠三个要素:耳朵的形状、听到声音的时间差和声音对两耳的产生的不同的压力。因为仿真耳朵在外形和密度上都离去还原人耳,所以这类的传声器能和人耳一样地捕捉和传输声音,保持左右耳间的差别。
 
3D音效的历史
 
人头录音的历史可以追溯到19世纪末期,法国的工程师Clement Ader。1881年,Ader开发出了电话戏剧(Theatrophone),一种通过电话服务转播的巴黎戏剧表演,一套套的麦克风从舞台的左边一路排到右边,信号通过电话输,听众只需要一副接收器,就可以在巴黎工业宫中的包厢中听戏。

 
1933年,AT&T的贝尔实验室在芝加哥博览会上展出了双耳立体声,带来了一个在双颊耳前安装了麦克风传输器的机械仿真人奥斯卡。奥斯卡在玻璃房间中捕捉声音,而外面的访客可以听到和它一样的声音。AT&T的这项技术,由Ader的发明改进而来,不过两者的音质都没有什么本质的提升。
 
经历二战,3D音效依旧过不去高音质这道坎,直到1973年,一个德国麦克风公司Neumann生产了革命性的KU-80,也是后来的人头录音设备的原型:一个仿真头,左右两边各有一个传输器,并极大提升了对声音位置的捕捉的灵敏度。同时,人头录音也找到了自己适合的领域,这项技术在广播、实验音乐上都得到了大力发展。摇滚主唱们,如Lou Reed,Thom Yorke,Imogen Heap等都进行了人头录音的实验。
 
上世纪90年代末,一个叫Aureal的公司发布了A3D技术。Aureal的技术能利用电脑本身的两个台式的音箱,不外接音箱的情况下,制造出3D音效,通过A3D,你能够清楚地辨别声音前后左右和上下的位置。A3D是声学工程师们根据3D音效的原理建立了一套数字模型算法,称之为头相关变换函数(Head-related Transfer Function, HRTF)。在精确的HRTF值下,体验者不仅能够感受到声音的方向,并能确切地感受到不同声音来源的远近,并随着自己的移动而感受到和声音源距离的变化。理论上来说,个体差异导致每个人的HRTF值都不相同,不过,人类的大脑有着很强的适应能力,虽然你在一开始使用别人的HRTF数值时,可能产生声音定位困难,但是当你习惯以后,人脑就会自动学习,并主动进行适配。

 
不过,由于Aureal和对手公司Creative的恶性竞争,一场劣币驱逐良币的商业之战下,历经在大量官司的重创Aureal最终因无力经营而倒闭。
 
VR,3D音效的伯乐
 
经历一个世纪的发展,3D音效的技术再次获得了科技界的青睐,不论是VR设备还是VR游戏、视频资源,3D音效都作为VR系统的一个部分,youtube在4月推出的VR直播,就增加了立体声录音。
 
3D音效提供了一个扩展版的虚拟现实,它帮助了很多游戏和设备在视觉上的局限,完整了360°无死角的体验感受,没有声音的执导,人的视觉可能不受画面控制,而仿真的3D听觉的加入,能够很好地控制人的大脑,吸引用户的注意力。
乐队U2,Kanye West的音乐制作人Chris Milk,在过去的机场大型音乐会上,采用了3D音效。一个拥有8个耳朵的全方位立体声头,4对3Dio双耳麦克风,保证覆盖每个90°的空间,在VR设备下,保正观众的听觉和视觉的统一。在阿波罗工作室的Jean-Pascal Beaudoin看来,没有3D音效的VR体验是非常容易失败的:当你的大脑定位到声音来自左边时,它会预判当你左转90°后,声音的来源应该在你的正前方,而如果此时,声音依旧在你的左边,那么大脑就会将你从刚才的沉浸式体验中抽离出来。

 
不过,3D音效在VR内容中占的比重依旧不高,不论是电影还是游戏,音效常常是最后一个被考虑到的因素,VR不论是作为媒介还是内容,从设计伊始就考虑到内置人头录音,才能让让3D音效获得最大化的充分利用。
 
普伦斯顿大学机械与航空工程教授Edgar Choueiri,领衔3D音效和应用声学实验室数十年,在自己位于纽约上东区的家中,以一个世纪前的理论为基础,复原并优化了一套完整的双声道录音系统:BACCH SP,一个让每对音响都保留声音提示的过滤器,并以此创造出3D音效。Jawbone采用普林斯顿大学的这个算法,为无线蓝牙音响jambox制造过滤器,创造3D音效。运用同一套算法的App,BACCH-dSP,在头部追踪器的配合下,能够定位听者的头部动作,更精确地创造出3D音效的环境,软件的OS版本也实现了3D音效在笔记本上的应用。
VR对音效的高要求,被遗忘在历史角落的3D音效终于再次复苏,各家的VR设备都让它不再是可有可无的佐餐小菜,而是沉浸式体验成败的关键。

责任编辑:陈倩

为您推荐

高清、PVR及交互式应用驱动机顶盒技术发展

市场调研公司IMSResearch于年初宣布,全球数字机顶盒2004年总销量为5,080万台,预计2009年将达到9,030万台。数字电视机顶盒总的前景普遍看好,然而具体到国内而言,目前国内机顶盒开发商仍然以卫星机顶盒为主,有线机顶盒仍未走向普及应用。据CCID数据显示,2004年中国有线数字电视用户规模仅68.2万。纵观整个数字机顶盒行业:有线机顶盒前景广阔,但近期的表现令人失望;卫星机顶盒出口总量较大,国内市场有限;新近成为业界热点的IP机顶盒似有后来居上之势。同时,有线、卫星和IP机顶盒发展存在很大的变数,包括产品功能定义、传输标准、信源编码标准、中间件选择、业务发展模式等,新的半导体方

Amstrad HD PVR采用恩智浦半导体芯片组

中国上海,2009年3月10日,恩智浦半导体今日宣布其完整的DVB-S2/MPEG-4个人视频录像机(PVR)机顶盒(STB)解决方案已被最新款AmstradDRX780UKHD卫星接收机所采用。Amstrad是一家领先的数字机顶盒制造商,同时是付费电视提供商——英国天空广播公司(BSkyB)的子公司。Amstrad已经选择配有DVB-S2卫星前端的恩智浦高清晰度H.264芯片组来为Sky+HD客户提供高品质录像与回播功能。 Amstrad技术总监RogerLambert表示:“现在加入Sky+HD这一欧洲领先的高清电视服务的客户比以往任何时候都多。他们日益期望既能收看各种各样的高清频道,又能

博通BCM7335 PVR SoC解决方案

Broadcom公司的BCM7335是高清PVR卫星机顶盒片上系统(SoC),它集成了双调谐器/解调器BCM4506前端技术以及支持多种视频格式的最新一代的AVC译码器,支持用于基于DVB-S2和8PSK的DBS传输系统的世界标准。BCM7335工作在运行于450-MHz的双线程MIPSCPU核,具有超过950DMIPS的性能。本文介绍了BCM7335的主要性能及优势,单片系统方框图和参考设计方框图。BCM7335:High-DefinitionPVRSatelliteSystem-on-Chip TheBCM7335isBroadcom’snext-generationsatellitePV

黄赟:PVR业务中EPG的关键应用

2009年3月21日第二届数字电视趋势论坛在北京中旅大厦三层宴会厅举办,DVBCN数字电视中文网全程直播整个会议。图为广州啊哈媒体IMS技术总监黄赟先生演讲。 各位领导、各位来宾,大家下午好。今天很荣幸受主办方的邀请有机会在这里跟大家分享一下关于EPG元数据与增值业务的关系。 啊哈媒体其实是从2004年开始从事关于EPG元数据的采集以及关于EPR的研发,从那个时候开始我们进行了怎么样在数字电视上进行EPG元数据的应用,有一些经验跟大家分享一下。 以下是我今天下午发言的内容,首先跟大家简