《1 前言》

1 前言

随着社会生产力水平的高速发展，人类面临着越来越多的前所难为而今天又必须解决的问题。如果按传统方法解决这些问题，必然要花费巨额资金，投入巨大的人力，消耗过长的时间，甚至要承担人员伤亡的风险。例如，载人航天、核反应堆维护、大型装备的设计研制、医疗手术的模拟与训练，以及军事训练与演练等。虚拟现实（VR，virtual reality）为解决上述问题提供了新途径，带来了上述问题领域工作方式的变革。有专家形象地比喻说，虚拟现实对于其应用领域的作用，就如同数学之对于物理。

虚拟现实的思想产生于 20 世纪 60 年代中，其研究目标和研究内容大体上成形于 20 世纪 80 年代末。20 世纪 90 年代以后，由于需求的拉动，虚拟现实技术发展加速，应用领域不断扩大，产生巨大效益和重要影响的应用系统不断出现[1]。我国的一些专家从 20 世纪 90 年代中期开始研究虚拟现实技术。1995 年北京航空航天大学提出了构建分布式虚拟环境的研究计划，在国家 863 计划支持下，与国内一些单位联合攻关，建立了我国第一个基于广域计算机网络的分布式虚拟环境 DVENET[2]，其后又研制了具有自主知识产权的两个重要的虚拟现实应用系统开发软件平台，分布交互仿真应用程序开发与运行平台 BH_RTI[3] 和实时三维图形平台 BH_Graph[4]，开发了若干虚拟现实应用系统，推动了国内虚拟现实技术的研究和应用。

随着虚拟现实应用领域的不断扩展，人们发现一些应用完全可以依托真实环境，只将少量的真实环境中没有或需要灵活变更的景物，通过虚拟现实建模构造成相应的虚拟景物，将其融入真实场景，可以有效提高虚拟环境的建模效率，扩展虚拟现实的应用领域。 这就是增强现实（AR，augmented reality）所研究的内容[5]。增强现实借助必要的设备使计算机生成的虚拟对象与真实对象共存于同一个增强现实系统中，从感觉和体验效果上给用户呈现出一个虚拟对象与真实对象融为一体的虚实融合环境。

目前虚实融合与协同工作技术已在军事应用、装备设计等领域展现生命力和巨大的应用前景。例如美军在研的未来作战系统（future combat system）引进嵌入式仿真（embeded simulation）的概念，在真实环境中融入虚拟对象和作战场景，士兵可在其中进行武器装备的操作训练和作战模拟演练[6]；欧盟2003 年底完成的 VIEW（virtual and interactive environments for work）计划实现了可移动、便携和沉浸的虚拟环境系统[7]。VIEW 的主要特征是可移动性，包括个体的可移动性（如基于可穿戴装置），设备的可移动性（如便携式显示和交互设备）和体验的可移动性（如通过网络互联的协作环境）。

波音公司继成功地将虚拟现实技术应用于波音 777 客机的管线布局设计以后，2006 年进一步在空间站航天员的训练中应用了虚实融合技术，将指令和手册等信息合成到真实场景中，在航天员作业时随时提示操作流程，降低了作业难度，节省了作业时间；2004 年西门子和空客公司实施 ARVIKA 项目[8]，对汽车、飞机的设计、生产、维护各个环节的虚实融合支持技术进行了研究。例如，在飞机客舱和驾驶舱的设计方面，可以直观地表现不同气流条件对客舱、飞行员座椅的影响，并依此进行座椅布局的调整。ARTESAS 是在 ARVIKA 基础上开展的后续研究项目[9]，更加强调了虚实融合的作用；空客公司在飞机水管道安装作业流程中，提供了可视化的操作提示。在电缆与接线器的连接中使用移动式设备提示电缆的连接位置，有效地提高了工作效率和质量。

2006 年，我国颁布“国家中长期科技发展规划纲要”，把自行研制、生产大型干线客机作为十六个重大专项之一。这一重大决策给我国大飞机设计、研制、生产、维护提出了新的技术要求。面向国家重大需求，北京航空航天大学虚拟现实技术与系统国家重点实验室与中国商用飞机公司上海飞机设计研究所、中科院自动化所、北京大学、清华大学、浙江大学、北京理工大学等单位联合承担了 863 重点项目“虚实融合的协同工作环境技术与系统”。

在我们十多年从事虚拟现实技术研究，特别是在分布式虚拟环境 DVENET，分布交互仿真平台 BH_RTI 和实时三维图形平台 BH_Graph 等系统的基础上，围绕飞机驾驶舱布局设计和发动机、驾驶员座椅等部件辅助拆装维护方面的技术和工具支撑需求，进一步在应用方面研究虚实融合环境的可用性评价方法和应用系统的高效构建技术；在集成环境方面研究虚实融合环境系统结构、接口技术和规范、虚实对象协同感知与交互技术、多用户协同工作的

一致性处理和资源共享技术、虚实融合的建模与表达技术，以及多传感姿态获取与融合技术；在高精度定位装置方面研究基于物理的实时三维空间定位技术和基于视觉的高精度三维空间定位技术；在触力觉装置方面研究支持虚实融合的多通道感知与人机交互技术；在头盔显示器方面重点研究支持虚实融合的光学显示技术；在绘制软件方面研究虚实融合绘制技术及其在移动终端的应用等。在此基础上构建支持多用户参与，具有多种交互方式和沉浸感的虚实融合协同工作环境 CAR - CA，为我国大型客机设计和维护提供新的技术手段和有效支持。

下面概要介绍 CAR - CA 的工程、技术研究开发进展。

《2 CAR - CA 的体系结构与系统组成》

2 CAR - CA 的体系结构与系统组成

CAR - CA 系统的体系结构是分布式虚拟环境DVENET 的扩展，采用多服务器和远程绘制模式，满足了对移动终端进行支持的需求。由于移动终端节点的接入会在不同 AP（access point）间切换，需要对物理空间和对应的虚拟环境进行划分，采用多服务器分别管理各个区域，可以有效支持移动节点在大范围内的移动；采用远程绘制是考虑到移动终端的计算、存储等资源都较为有限，要实现对复杂模型的高效绘制，就需要对模型先进行远端的初步绘制，然后再由移动终端节点完成最终绘制。系统的体系结构如图 1 所示。

《图1》

图1 系统体系结构

Fig.1 The system architecture of CAR－CA

图 1 中，虚拟环境被划分为若干区域，区域由规则单元组成，区域和单元都与实际的物理环境对应。服务器包括监控服务器、区域服务器、模型和资源服务器等。监控服务器用于对其他类型的服务器进行管理，区域服务器进行负载平衡和区域内节点的管理，模型和资源服务器用于视频、音频、三维模型等资源的管理和远程绘制。环境中的节点有固定和移动终端两种类型。

为了对飞机设计和辅助维护两类应用给予多方面的有效支持，特别是体现虚实融合、多人协同及便携交互的技术优势和特点，在系统中设置了设备资源、工具和应用三个层面的研究开发内容，如图 2 所示。

《图2》

图2 系统研究开发内容层次

Fig.2 The layer of CAR－CA research

应用层是 CAR - CA 系统支持的目标，目前主要是飞机驾驶舱布局设计和部件辅助拆装维护，由有关的环境设施、应用软件和接口规范构成；设备资源层主要有支持系统运行和工作的基础设施、交互设备和信息资源库，其中信息资源库包括用于驾驶舱设计的虚拟仪表库、用于辅助拆装维护的三维零部件模型库和电子手册等；工具层包括支持两类应用的 CATIA（computer aided three -dimensional in - teractive application）数据转换器、多人协同网络软件、便携交互装置、虚实融合绘制软件和虚实融合环境调度引擎等 5 种工具，以及设备、资源的接口规范，其功能如下：

1) CATIA 数据转换器。飞机驾驶舱仪表、飞机发动机和飞行员座椅等零部件的几何模型是两类应用的基础。该工具利用 CATIA 的 CAA ( component application architecture）接口，将已有的 CAD 格式的飞机部件设计模型转换成 Openflight 格式模型，以使这些模型适用于 CAR - CA 系统。这一工具正在研制中。

2) 多人协同网络软件。为了有效支持多用户协同工作，以多服务器架构为基础，研究集中与分布相结合的管理模式、负载平衡和资源共享方法，参考 DIS / HLA 等标准制定多用户协同工作的交互协议并研制网络工具包。 这一工具在分布交互仿真开发与运行平台 BH_RTI 成果的基础上已初步完成。

3) 便携交互装置。为了提高飞机设计和辅助拆装维护的方便性，基于穿戴式计算机等移动终端，集成视频透视式头盔、虚实融合绘制软件、多人协同网络软件等工具，构成便于用户与虚拟环境交互的便携交互装置。该工具正在研制中。

4) 虚实融合绘制软件。围绕虚实融合绘制技术及其在移动终端的应用，对虚实融合绘制中的关键技术进行深入研究，在此基础上开发面向移动终端的虚实融合绘制软件。目前这一工具正在实时三维图形平台 BH_Graph 的基础上进行相关研究和开发。

5) 虚实融合环境调度引擎。包括资源管理与共享和任务调度与管理两个主要构件。资源管理与共享构件提供与当前任务相关联的信息，诸如用户的角色、分布位置、用户当前任务以及任务的进度等，同时进行状态更新；任务调度与管理构件对具体应用时用户所要完成的各种复杂任务进行调度和管理。该工具正在研制中。

《3 关键技术研究》

3 关键技术研究

研制具有自主知识产权的虚实融合协同工作环境，需要在多学科、多方向开展关键技术研究，进行技术创新和集成创新。根据已有基础和近期目标，重点在支持多人协同的网络技术、高效建模技术、高精度定位及虚实融合技术、移动终端有限资源下的绘制技术和资源管理技术等五个方面开展了深入研究，取得了一定进展。

《3.1 支持多人协同的网络技术》

3.1 支持多人协同的网络技术

支持多人协同的网络技术为多用户通过便携交互装置和无线网络接入虚实融合协同工作环境提供网络支持。由于便携装置资源有限且无线网络覆盖范围较小，为了有效支持多用户协同工作的一致性和资源共享，围绕多服务器架构，研究集中与分布管理相结合进行负载平衡和资源共享的方法；研究便携交互装置在虚实融合物理环境下的状态分发机制和不同 AP 间移动时的快速切换算法，降低便携交互装置在移动切换时带来的时延，从而保证迁移中状态的一致性。在此基础上，参考 DIS / HLA 等标准制定多用户协同工作的交互协议。

目前已在状态分发机制方面给出了一种基于代理的分发方法[10]，利用代理机制降低移动终端发送／接受的次数和数据量来减小电能的消耗，提高了移动终端的续航能力。基于代理的机制包含基于代理的状态分发机制和基于代理的实体迁移机制两部分。前者是后者的基础，其框架如图 3 所示。

《图3》

图3 基于代理的状态分发机制示意图

Fig.3 The Architecture of Proxy－based Mechanism

在不同 AP 间移动时的快速切换方面，提出了一种基于 TII（time interval indication）的快速切换算法[11]。该算法将虚拟环境的特点与 RSSI（received signal strength indication）相结合，采用 PDU （protocol data unit）平均时间间隔作为判断的标准，给出了一套预测方法，同时利用 DR(dead reckoning）算法，减少了探测的次数，降低了切换所带来的时延。

《3.2 高效建模技术》

3.2 高效建模技术

模型的获取和构建是 CAR -CA 系统的基础性工作。为了有效构建不同来源物体的三维模型，研究基于数字化测距设备的建模方法、CAD 模型的转换方法，以及有利于实时绘制的网格模型简化算法。

基于数字化测距设备的建模对象主要是无CAD 模型的实物。重点研究运用数字化测距设备（如三维激光扫描仪）对驾驶舱部件、发动机、座椅零部件，以及维护工具等实物进行非接触测量获取其外形点云数据并进行处理。受物体形状的复杂程度、扫描过程产生的噪声等因素影响，需对采集的点云数据进行必要的处理，同时三维扫描设备从不同视点采集物体表面的深度图像数据，必须将这些深度图像数据进行配准、补洞才能构造出可用的三维网格模型。目前在深度图像的配准、空洞修补等方面取得了一定进展[12]。CAD 模型的转换方法用于将 CAD 格式模型转换成 Openflight 格式模型，该方法正在研究中。在网格模型简化方面，给出了一种基于几何特征保持和三角形优化的网格模型简化方法[13]，简化流程如图 4 所示。

《图4》

图4 网格模型简化过程

Fig.4 The process of mesh Simplification

《3.3 高精度定位及虚实融合技术》

3.3 高精度定位及虚实融合技术

高精度定位技术是要准确获取用户在真实空间中的位置及方位信息，虚实融合技术则是实现虚拟对象与真实对象无缝融合的核心技术，例如虚拟对象与真实对象的遮挡处理和碰撞检测等。

在基于视觉的定位方法方面，给出了一种基于自然特征的定位方法[14]，在相机参数已知的情况下，采用 KLT 算法跟踪场景中平面结构上的自然特征，判断相邻帧中特征点的匹配关系，利用平面结构的单应性实现三维注册。为了保证跟踪的连续性，采用了图像金字塔组织和更新策略，为了防止不良匹配点的影响而导致注册失败，应用 RANSAC 算法计算匹配点对集合的单应性矩阵，从而确定摄像机的姿态，实现定位。

《3.4 移动终端有限资源下的绘制技术》

3.4 移动终端有限资源下的绘制技术

移动终端是 CAR - CA 系统中的一类重要交互载体。由于移动终端的计算资源、存储资源、显示范围、带宽和能源有限，为基于移动终端进行三维模型的几何表示和高效绘制，CAR - CA 系统采用了远程绘制模式，并对点模型简化方法和点模型在远程绘制中的传输控制等关键技术进行了研究。

在点模型简化方面，给出了一种基于移动最小二乘法 MLS （moving least square）的简化方法[15]。首先对原始点模型采用 MLS 生成 splats 的中心点，得到分布更好的 splats，使之适合于移动终端绘制，同时结合移动终端显示分辨率得到适用于移动终端的中心点覆盖范围。在此基础上，采用贪婪算法获得最小的 splats 集。在传输控制方面，提出一种基于兴趣域的 QoS 传输控制方法[16]。基于用户的兴趣域、对虚拟环境中对象的兴趣度和绘制误差等给出了节省移动终端能耗的点模型层次选取和 QoS 传输控制策略，最后在移动终端上对点模型完成实时绘制。

《3.5 资源管理技术》

3.5 资源管理技术

针对两类应用中资源库所需的视频、音频、三维模型等数据，研究完整的存储与管理机制，以便对数据进行及时的更新和汇合，并通过统一的接口响应用户的检索请求，在此基础上进而实现对数据资源的多用户自由共享；研究满足实时应用的高效检索方法，根据动态信息，如用户的角色、分布位置、用户当前任务以及任务的进度等，快速搜索数据资源里与当前状态对应的信息，更新当前状态，从而保持系统显示的数据与客户端所获得的外部信息的一致性。目前在相关技术研究的基础上，正在进行资源管理与共享构件的研究开发，其示意图如图 5 所示。

《图5》

图5 资源管理整体结构

Fig.5 The architecture of resource management

《4 应用前景》

4 应用前景

虚实融合协同工作集成环境 CAR - CA 实施以来，在关键技术研究、数据采集、模型建立和工具开发等多方面取得前期成果，为工程的后续研究开发，特别是 CAR - CA 的应用层实现奠定了基础。最终应用模式如图 6 所示。

《图6》

图6 应用示意图

Fig.6 The application of CAR－CA

下一阶段的工程研究将在已有基础上进一步加强数据采集、模型库建立和工具开发。关键技术研究根据工程进展需要，主要集中在虚实融合多通道人机交互界面设计方法、复杂环境下虚实对象高精度无缝融合方法、基于多传感器的精确定位方法等几个方面。

1) 虚实融合多通道人机交互界面设计方法。虚实融合技术为应用系统的构建提供了新方法和新手段，同时对人机界面的设计也提出了新的要求。在 CAR - CA 中，用户会通过便携装置与虚实融合环境进行交互，完成驾驶操作、部件拆装维护等工作。 提供更为自然适人的交互界面和交互方式，对于用户的方便操作和应用效果具有重要意义。

2) 复杂环境下虚实对象高精度无缝融合方法。实现复杂环境下虚实对象高精度无缝融合，对于系统的成功应用有着至关重要的作用。虚拟对象与真实对象的融合效果受定位精度、遮挡关系和环境光照等诸多因素的影响，例如在驾驶舱设计应用中，需要研究不同光照对驾驶舱各部分的作用、驾驶舱仪表等布局对驾驶员操控驾驶时方便性、舒适性的影响等。

3) 基于多传感器的精确定位方法。精确定位是虚实融合的基础，在很大程度上影响融合的精确程度， CAR - CA 中的两类应用对于定位精度都有较高的要求。基于视觉的定位技术精度高，但易受各种环境因素影响，系统中便携装置的运行效率也是必须考虑的问题。在视觉定位技术基础上，引入其他定位设备和技术是提高定位精度和稳定性的途径之一。

此外，汽车制造维修等行业也对这类系统提出了需求，笔者将进一步分析这些行业产品的特点，考虑把研究开发的环境、平台和工具向这些行业进行推广，形成更大的经济、社会效益。

虚拟现实这一新兴交叉科学技术在技能训练演练、工程设计规划、文化娱乐展示等方面越来越多的成功应用所显示出的独特作用，引起了各国政府和工程科技界的高度重视。2008 年 2 月，美国工程院公布了经评选产生的 21 世纪人类在工程技术领域所面临的 14 个重大挑战性问题[17]，其中之一是“提升虚拟现实的逼真性和应用性”。2007 年 5 月，日本政府发布了长期战略“创新 2025”报告[18]，描绘了 2025 年日本的创新愿景，有 5 个方面的 18 个问题，其中之一是“虚拟现实”。我国政府 2006 年2 月颁布的“国家中长期科学和技术发展规划纲要”[19]把“虚拟现实技术”作为信息领域优先支持的前沿技术之一。

可以预见，未来十年是虚拟现实技术取得更大突破、系统应用更加广泛的十年。虚拟现实领域充满了活力和挑战，希望越来越多的计算机科学工作者从事虚拟现实技术的研究开发，为这一重要科学技术在我国的发展作出贡献。