杨旭波 | 虚拟现实：视觉盛宴背后的技术革命

点击：  作者：杨旭波    来源：知识分子  发布时间:2016-08-23 15:50:10

  

      【编者按】早在50年前，虚拟现实就已出现，如今它有变革人类视觉体验之势。在虚拟现实重构的世界里，我们不仅有视、听、触、嗅等感觉，而且它们将变得愈发真实，与现实世界无异。与虚拟现实相对应的，还有增强现实以及混合现实，它们在改变人类视觉体验的同时，也在真切地变革我们的生活。我们既可用它们来购物，也可进行模拟驾驶，甚至还可用它来治疗疾病。尽管目前虚拟现实技术仍有许多缺陷，但它注定会在不远的将来影响我们每一个人。本文来自上海交通大学软件学院教授杨旭波日前在“新民科学咖啡馆”活动的分享。

 

      演讲 | 杨旭波（上海交通大学软件学院教授）  整理 | 叶水送

 

      早在50多年前，美国电影摄影师莫顿·海利希（Morton Heilig）就发明了一台叫Sensorama的机器，它就像现在的大型游戏机一样，当我们把头放进这台机器里后，不仅会有3D的视觉，还能闻到气味、听到声音。由于海利希以及机器自身的缺陷，例如没有互动性，仅靠事先做好的画面播放，因此Sensorama机器当时并没有得到很好的反响。

 

►最早的虚拟现实体验机Sensorama。来源：wikipedia

 

►虚拟现实的早期应用。来源：artcenter.edu

 

      头戴显示器的发展需回溯到上世纪60年代。1968年，拥有美国麻省理工学院博士学位的科学家伊凡·苏泽兰（Ivan Sutherland），在实验室里做了一个名为达摩克利斯剑的头戴显示器，这个显示器用的是CRT显示技术，可追踪头部的动作，往哪边看就会有感应，可以实时计算眼睛看到的画面。不过那时候计算机能力非常差，显示的像素也非常低。苏泽兰当时还写了一篇很有名的论文“终极显示”，他设想未来的显示器应该能够达到分不清真实与虚拟。当我们戴上这个以后，就会看到另一个世界，在这个虚拟的世界里，我们的感觉都是真的，有点像《黑客帝国》描述的那样。但实际上，即使是现在，我们离他的设想还很远。

 

      至于头戴式显示器的思想，最早可追溯到1613年，伽利略时代就有一个头盔望远镜的设计，通过这种方式可以看到远处的东西就在眼前，也有很好的沉浸感。今天的虚拟现实技术头盔Oculus跟这些早期头戴显示设备长得比较像，只是现在非常便宜了，以前这样的设备非常昂贵，一般人接触不到。2006年，东芝（Toshiba）公司出了这样的一个设备，但设计上很失败，戴上去像怪物一样。2014年，一个名为Oculus的创新公司，让虚拟现实重新火热起来，这并非仅仅因为技术上的革命性突破，还因为其低廉的价格，让普通民众仅以300至350美元即可购买到开发版的头戴显示器。Facebook花费20亿美元收购这家公司，也令人对其刮目相看。

 

      三星公司也设计出廉价的头戴显示器Gear VR，当把三星手机放到这个盒子里面就可以用。谷歌的纸盒眼镜Cardboard则更便宜，我们甚至可以利用谷歌开放的设计图，买两个透镜，用纸板自己动手做。谷歌主要推安卓手机，当手机装上应用程序后，手机就会分成两个屏幕，左右两个眼睛可看到不一样的画面，产生立体的效果。当我们转动的信息被手机的传感器检测到时，就可以看到互动的效果，但这个比Oculus的舒适度差一些，因为距离难以调节，加上计算能力手机要比PC机差很多，但它仍可获得较好的沉浸感。

 

      虚拟现实技术：在现实中触碰虚拟世界

 

      虚拟现实（Virtual Reality），简称VR，这两个词组合在一起看似矛盾，一个虚拟一个现实，但都在虚拟现实环境中体现，由计算机生成虚拟世界，人们通过虚拟现实系统进入到这个虚构的世界里。在这个世界里，我们可通过视觉、听觉以及触觉进行感知，也有人在研究嗅觉和味觉。

 

      虚拟现实有如下几个特点：计算机生成、多通道感知、沉浸感以及想象力。当我们把虚拟现实头戴显示器放在眼前，即可进入到另一个世界。尽管一部电影也可能会带来沉浸感，但是它没有交互性。而在虚拟现实系统中，这种沉浸感有交互性，当我们头动一下，即可看到不同的角度的场景。至于想象力方面，应该说这个虚拟的世界是我们构想出来的。它可以是现实世界的复制，比如开会，戴上头盔之后，我们可能置身于旧金山一个会议室；也可以是想象出来的卡通世界，是你儿时从书本中看过的一个童话世界，现实中它根本不存在。

 

      虚拟现实系统主要包括如下几个方面：首先是内容，它的核心是一个实时计算机图形和仿真器，然后是用户界面：一个输入，一个输出，这是非常简单的关系，输入主要是对应用户的头、眼睛、手以及整个身体动作的追踪，当把这些身体的信息代入到虚拟现实世界里，身体如何动，系统一旦感知到，就会给予一个相应的反馈。

 

      ►以Oculus为例，虚拟现实系统的各个组成部分。来源：theconversation.com

 

      事实上，虚拟现实是多学科结合的领域。从学科角度来说，其核心是计算机图形和仿真，此外还有计算机软硬件、图像与视觉、人工智能等技术，由于要用到视觉、触觉、听觉等多感知通道，还会涉及到光、声、电、机械等。虽然Oculus已经设计得还算不错，但戴十几分钟，眼睛仍可能会有点难受，还会头晕。目前，全球顶尖学者都在研究人机工程问题，如何设计得更加舒适，当我们戴上眼镜后，有人会有大脑被三维虚拟环境控制的感觉，这可能会带来心理上的冲击，因此虚拟现实的应用还会涉及到心理学、社会学等问题。

 

      虚拟的内容最初一般由建模师通过三维电脑软件在屏幕上构建出来，例如，从一个简单的模型开始渐渐构造出复杂的角色模型，在电脑上设计出来之后，再赋予它们动作，最后贴上皮肤的纹理，这样就造出来一个虚拟的角色形象。还有一种虚拟内容，它不靠人工，而是靠一种特殊的相机——全景相机。这个相机有很多镜头，可以把360度的画面全部拍下来，数据也可以在虚拟现实中展现，这是将来一个重要的应用方向。两会期间也有一些记者用到了这样的摄像头，配上虚拟现实的头盔，我们可以从各个角度观看，也可以把数据存下来放给其他的人看。

 

      当然头盔并不是虚拟现实的唯一形式，还有很多其他形式，例如CAVE是通过投影仪构建的，可模拟四面墙或六面墙，每个墙都用立体投影仪投出来，带上立体眼镜就很有沉浸感，但造价非常高。1999年，我在浙江大学参与安装过这样的一套系统，当时设备耗费约250万人民币。还有环幕投影，造价相对低一点，在博物馆、展览馆可看到，它应该算半沉浸式，因为整个视野没有完全被覆盖，当人转过去以后，感觉又回到现实世界。

 

►虚拟现实技术可应用于游戏以及体育等方面

 

      接下来是输入设备方面。输入设备需要捕捉人的信号，怎么把人的动作信号带到虚拟环境里去？最常用的设备是运动捕获设备，例如这里的演员做一些动作，通过很多摄像头拍下来，再把这个动作放到虚拟的角色上去。输入设备又分两种：一种是光学运动捕获设备，相机加上红外线，人身上有很多发光的点，靠计算机计算能力实时算出动作，但它有一个缺点就是容易被遮挡；另一个是惯性传感设备，用户身上装了很多，手动一下就有一个惯性数据，可以算出角度。还有脸部动作捕获，电影里会经常使用，以前是在脸上加很多点，但现在技术发展了很多，不用在脸上铺点，而是直接用计算机视觉的算法来算，目前已经可做到实时。

 

      ►通过数据采集，电脑可快速合成虚拟图像，在虚拟的环境里，我们可以参与不同情境。

 

      除了脸部模拟以外，还有一种数据手套，当戴上这个特殊的手套后，手活动时每个关节角度，可被手套感知到，如模拟手握杯子，通过一个力反馈设备给手部一个反馈力量，虽然没有杯子，但通过设备施加的外力，我们可以感觉到拿了一个杯子样的东西。目前这一领域仍有很多技术难点没有突破。

 

      ►当我们带上“数据手套“后，通过手套给予的刺激，我们即可感受到手里紧握的物体，它可能是一个杯子或者是球等

 

      总结一下，虚拟现实的本质是一种新的计算平台、一种新的通讯平台和交互界面。从计算机发展来看，最早是大型机，一个计算机占据整个房子。彼时人是渺小的，人需要适应计算机，后来个人电脑出现的时候，人类将电脑变得越来越小，等到手机出现的时候，我们可以随时进行计算。虚拟现实应该是下一个新的计算平台，不再是你感觉跟计算机的世界隔着个屏幕，而是以后你感觉计算机构造的世界跟现实世界相互融合，尽管目前还是通过屏幕的方式展现，以后就可能分不清在哪个世界里，这是一个发展趋势，计算机将逐渐适应人的习惯。

 

      增强现实：一个同样令人惊艳的技术

 

      有关虚拟现实和增强现实（Augmented Reality，AR）之间的关系，很多人可能并不能准确地区分它们，另外还有一个叫混合现实。混合现实是一个从真实世界到虚拟世界的过渡, 包含了虚拟现实和增强现实。增强现实已有很多代表性的产业发展，如谷歌眼镜，但它不太成功。微软也刚推出了增强现实眼镜产品Hololens，卖得比较贵，大概3000美金，它们有一个共同的特点，就是半透明的，因为我们仍需要看到真实的现实情景，而以Oculus为代表的虚拟现实眼镜前面则是不透光的，别人看不到你的眼睛，你也看不到周围的东西，这是它们之间主要区别所在，但未来增强现实应用面更广。

 

►一个有趣的增强现实情境，通过听、视觉让人身临其境

 

      例如，当我们对着镜子穿衣服时，可通过增强现实让自己换上一件别的衣服或裙子，或合适的款式，这就是所谓的虚拟试衣。它还可应用于远程会议，当戴上增强现实的眼镜之后，我们可看到虚构的桌子以及从远处传过来的参会者影像，尽管它们置身于不同的空间，但此刻如同在同一个环境下讨论问题。最近，微软推出一个视频，通过增强现实眼镜，即使你的孩子不在身边，在增强现实的情景里，他（她）可被置身于同一个房间，让你感觉到小孩就在跟前。不过这方面现在做不到这么好，有一些概念性的成分，还有很多缺陷。增强现实还可用于汽车导航，如果我们看导航信息，需低头看汽车面板，这样可能会分心。利用增强现实技术，导航的信息直接显示在挡风玻璃上，这样就可以看到路面信息。

 

      虚拟现实的应用：未来前景无限

 

      虚拟现实除了可用于影视游戏等娱乐应用之外，在其他非娱乐的应用领域也前景广阔。虚拟现实同样也可用于虚拟试衣，这是阿里巴巴的“Buy+”计划，今年3月刚推出概念，戴上虚拟现实的眼镜之后，人们可通过虚拟模特身上的衣服来进行选择和购买。很多汽车公司也开始利用虚拟现实眼镜进行模拟驾驶，让用户体验开车时的感受，但不能真的开到路上。此外，还可做虚拟旅游，戴上眼镜后，可体验以前从未去过的地方，身临其境。此外，还可以虚拟看房或设计房子，我们可事先让设计师设计一个虚拟图景，通过体验，我们还可以纠正需要改造的地方。

 

      日常生活体验可对我们的大脑有影响，同样虚拟的体验也能影响大脑，因此虚拟现实还可用于心理治疗，很多有抑郁症的人，通过虚拟现实技术辅助治疗可以得到一些改善。对于社交恐惧症患者来说，他们平时不敢对很多人说话，在虚拟的世界，你知道这是假的，心理会放松防线，更容易跟其他人交流，从而逐渐提高社交能力。再比如，有很多人害怕蜘蛛，通过虚拟现实模拟，蜘蛛“近”在眼前，尽管你很难抗拒潜意识中的害怕，但是可以通过这种方式逐渐“脱敏”。恐高症同样可通过虚拟现实得到缓解。

 

      心理学家还用虚拟现实来进行其他治疗，例如烧伤患者非常痛苦，尤其是给他换药的时候，如果有医生把虚拟现实技术用到他们身上，让他戴上一个头盔，看到一个冰凉的世界，大脑相应做出反应，疼痛感会减弱。在美国911恐怖袭击之后，很多人心理创伤很大，通过虚拟现实技术，把患者带回到当时的环境，这也是一个类似于“脱敏”的治疗，从而使患者心理上得到疏解，目前证明可以起到比较明显的效果。此外还有对自闭症患者的治疗，他们不愿跟人交流，难以亲近，通过虚拟现实技术，让他们在虚拟的世界里玩游戏，并逐渐接受自己在其中的角色，然后锻炼跟人交往的技巧。研究发现治疗前后患者大脑的活跃度有明显改善，这说明虚拟现实起到了良好的作用。

 

      在医疗方面，虚拟现实还可用来训练医生。当前医生培训代价比较高，既缺少设备，同时人又非常多，我们可以通过虚拟现实设备，帮助医生练习手术。例如，在虚拟的世界里，连接力反馈的设备可模仿一个手术刀，当手术刀碰到虚拟器官之后，会有一个力反馈，也会模拟器官的形变，通过这种方式医生可以得到手术技能的锻炼。

 

      对于学习和教育来说，虚拟现实也是非常有帮助的。通常来说，小孩对形象直观的东西容易接受，通过虚拟现实技术，把一些比较抽象的东西，以直观方式表现出来，这样可提高他们的记忆能力和学习动机，通过这种方式他们既愿意学习，又觉得很好玩，此外也可以增强小孩子间的合作。

 

      总的来说，虚拟现实已经诞生50多年，由于以前成本太高，它最近才刚刚走近大众。虚拟现实、增强现实它们之间相关，又各有特点，但核心都是以实时计算机图形为主，应用也在不断拓广。通过与互联网、机器人、人工智能以及大数据进一步结合，虚拟现实的未来应用会更广泛。