2022年10月27日，2022全球家庭互联网大会元宇宙峰会落下帷幕，本次大会由众视Tech、AsiaOTT主办；元宇宙与虚实交互联合研究院学术支持，上海市电影电视技术学会、5G中国创新百人会、上海市信息家电行业协会、上海市超高清视频产业联盟联合主办；黄浦区科技创业中心支持，旨在汇聚尖端菁英从内容、应用、服务、营销、终端全产业链，进行多形式、多角度、多维度的交流与思考，以助力推动数字家庭新生活场景创造进程，加速各垂直领域和产业拥抱元宇宙。

 

在27日的音视频元宇宙论坛上，清博智能元宇宙研究室主任尹健发表题为《从vr进入音视频元宇宙》的精彩演讲。
 

 

拓展现实：

 

1. 虚拟现实-VR：进入全部虚拟的场景，VR是以计算机技术为主，综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等多种高科技的最新发展成果，借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界，从而使处于虚拟世界中的人产生一种身临其境的感觉。

 

 

 

2. 增强现实-AR：现实中叠加虚拟元素，AR是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，从而实现对真实世界的“增强”。

 

 

 

3. 混合现实-MR：虚拟与现实互动融合，MR是虚拟现实技术的进一步发展，通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

 

 

 

VR技术困难：

 

1、自由度（ dof）

 

自由度就涉及到了VR眼镜的追踪精度。3dof是只能检测头部3个转动角度的自由度，6dof可以检测头部的全部空间和角度信息。所以，选购6dof交互空间会带来更自由更佳的游戏体验。

 

 

 

2、视场角 （FOV）：

 

一般来说，视场角越大，视野也就越大。通俗来讲就是，你所看的目标物体超出你的视场角范围那一部分，你是看不到的。更大的FOV具有更强的沉浸感，用户可获得更强的身临其境的感受。一般来说，6DoF交互的可视角度要优于3DoF的。

 

 

 

3、PPD(角分辨率)

 

PPD = 单眼成像外接圆的直径像素点数量 ÷单眼成像的对角线的视场角 FOV。

 

使用VR的时候分辨率和看电视的分辨率是不一样的，因此需要关注ppd，人在现实中的ppd大概是60。

 

 

 

VR前沿动态：

 

1. 显示技术：VR眼镜最重要的配置是两片透镜，透镜表面设计有平凸（非球面）、双凸和凹凸效果，边缘薄，中心厚。凸透镜能修正晶状体的光源角度，导致人眼重新读取，达到增大视角、放大画面、增强立体感的作用，从而让人感觉身临其境。显示技术是VR眼镜的核心，显示技术包括：交错显示、画面交换、视差融合。vr光学方案经历了非球面透镜、菲涅尔透镜、Pancake（超短焦光学折叠光路 ） 方案三个阶段。

 

 

 

10月12日，Meta召开2022Connect发布会，发布全新MetaQuestPro，QuestPro采用Pancake光学模组取代了Quest2中的菲涅尔透镜。中心视野清晰度提高25%，周围视野清晰度提升50%。

 

 

 

VR硬件的关键环节包括光学、显示、芯片与传感交互等，各环节技术水平决定设备整体性能，如今VR发展方向逐渐清晰。。VR设备未来高增长仍然可期，我们看好短中长期不同阶段的多重因素推动VR设备保持快速增长趋势。

 

 

 

全球首个设备是YVR 2一体机，其他设备有pico4、创维Pancake1。

 

 

 

2. 传感器技术

 

第一类是IMU传感器，即惯性传感器。包括加速度传感器、陀螺仪和地磁传感器，这些传感器主要用于捕捉头部运动，特别是转动。IMU传感器在VR中起着基础核心的作用。因此，对于VR设备而言，产品体验主要就是动作捕捉的准确性和显示的延迟这两方面，而这很大程度上，都是由设备中的IMU惯性传感器决定的。

 

 

 

第二类是红外传感器，目前的方案有红外摄像头和红外感应传感器等，具体方案不同，用的传感器也不同，主要用来实现动作捕捉，特别是使用者左右前后的移动。

 

 

 

第三类是VR设备中会用到的其他类型传感器，如佩戴检测用的接近传感器、触控板用的电容感应传感器等已被广泛使用，而眼球追踪用到的红外摄像头，及实现手势识别、实现AR功能的传感器等可能会被应用在未来的VR设备中。

 

 

 

VR一体机使用操作

 

1. 以oculus quest2为例。

 

首先透过手柄和眼镜上的 4 枚摄像头，Quest 2 会用一系列步骤，教用户好设置 PassThrough 安全区。在安全区内，玩家可以随意走动，一旦走出安全区，画面会跳出虚拟世界，让玩家看到周围现实环境，从而避免碰撞。

 

 

 

拇指遥杆：控制上下左右移动

 

B / Y：确定/ 取消；可以切换左右手，点击Y换成左手操作；点击B换右手操作。

 

A / X：选择对象，确定/ 取消。

 

左手柄的菜单按钮：重置你的位置。

 

右手柄的菜单按钮Oculus Home：按下按钮弹出通用菜单，长按可以居中视图。

 

手柄上侧的扳机按键：确定。

 

手柄两侧的握手按键：可以模拟握拳或用虚拟手抓住物体。

 

 

 

手势追踪功能：

 

选中：将手指指向图标，拇指和食指捏在一起，可以选中；相当于扳机按键功能。

 

 

 

滚动菜单：将拇指和食指捏在一起，向上或向下移动手可进行垂直滚动，左右移动可进行水平滚动；松开手指停止滚动。

 

 

 

显示主菜单：转动手掌面向自己，然后把拇指和食指放在一起；如果操作正确就会看到 Oculus 图标。将手指捏在一起后，在菜单出现时松开即可。

 

 

 

使用快捷方式访问菜单，包括将麦克风静音、录制视频和召唤语音助手：转动手掌面向自己，然后把拇指和食指放在一起；如果操作正确就会看到 Oculus 图标。手指捏在一起不要松开，将它们移到所需的菜单项上，然后再松开。

 

 

 

VR音视频的应用

 

Pico多人影院，VR一体机追剧，郑钧VR演唱会，汪峰VR演唱会，VR才艺晚会，VR元旦活动。

 

 

 

其他的应用

 

vr游戏：

 

1. 节奏竞技类游戏：节奏光电、SUPERHOT VR、剑与魔法、半条命：ALYX。

 

2. 冒险益智类游戏：Down the Rabbit Hole、MOSS。

 

3. 休闲娱乐类游戏：Vacation Simulator、Vacation Odyssey。

 

4. 社交聊天类：VR CHAT、Rec Room。

 

vr体育：

 

《All-In-One Sports VR》、《Badminton VR》、《Eleven Table Tennis》、《ForeVR Bowl》。

 

vr教育：

 

《cubism》（立体主义）、《Tilt  Brush》、《Mind VR Exploration》、《VR New York Story》。