2025-04-30
导语:文中介绍了元宇宙的概念和意义并从元宇宙的技术特点出发对元宇宙的关键技术进行了深入研究
1 引言
以Facebook改名为Meta为标志,2021年被称为“元宇宙”元年。随后,元宁宙呈现出超乎想象的爆发力,世界各大型互联网公司纷纷开始布局元宇宙。元宇宙的定义,目前各界众说纷纭,对元宇宙不同的定义来源于各自不同的角度。但从本质上分析,元宇宙是一个平行于现实世界又独立于现实世界的虚拟空间,是映射现实世界的在线虚拟世界。
Roblox的CEO I)avidBaszucki提出了“元宇宙”的8个基本特征:
1)身份——在元宇宙中,每个人都有自己的用户名、账号形象,构成在虚拟世界中的化身;
2)社交——好友系统实现玩家在虚拟世界巾的社交功能;
3)沉浸感——元宇宙虚拟世界的沉浸式体验;
4)多元化——自主丌发丰富内容,如在元宇宙中购买土地、建房子等;
5)随时随地——通过手机、电脑、VR一体机、网页都可以进入;
6)低延迟——需要高速的网络;
7)经济系统——通过区块链技术使用户在一个规则透明、开放、高效、可靠的去中心化金融系统中真正拥有自己的资产,并且自由地实现价值交换;
8)文明——元宁宙中有社区、城市,人类在其中生活,最终演化成一个文明社会。
总的来说,元宇宙是一个更加高级、沉浸式和交互式的虚拟世界,而互联网则是一个由网站和应用程序组成的平而网络。元宁宙与目前互联网的一些区别(见表1)在于:
1)用户体验一元宇宙提供更加沉浸式和交互式的用户体验,用户可以在其中进行各种活动,而瓦联网则是一个由网站和应用程序组成的平而网络;
2)交互方式——元宇宙中用户可以通过虚拟现实头戴式设备、手柄、手势等多种交互方式进行互动,而互联网则主要通过键盘、鼠标等方式进行交互;
3)数据处理——元宇宙中的数据处理需要更强大的计算能力和数据处理能力,因为它需要处理的数据更加复杂和庞大,而瓦联网则是以文本和图片为主要形式,数据处理的难度相埘较小;
4)经济模式——元宁宙中的经济模式更加多样化和灵活,用户可以通过虚拟货币进行交易,而互联网则主要是通过电子商务和广告收入来运营;
5)安全性一无宇宙中的数据更加敏感和复杂,在安全性方面的要求更高。
2 研究现状分析
大部分有关元宇宙的研究主要集中在应用和社会意义上。从技术角度看,元宁宙必须依靠智能芯片、物联网、网络及运算技术等作为基础设施,以人工智能为核心的信息技术作为技术主干,以扩展现实头显、智能可穿戴、脑机接口等打通与现实世界沉浸式交互的接口。以数字孪生构筑虚实交互内容,以人工智能模型和算法驱动自然交互、内容自动生成,最终在操作系统上构成元宇宙终端入口。
2.1 元宇宙核心技术
元宁宙所依赖的关键核心技术可以分为6个技术板块(见图1):区块链技术、交互技术、人工智能、物联网、算力及运算技术、数字孪生。
图1 元宇宙六大关键技术
2.1.1 区块链技术
区块链是一种基于分布式账本技术的分布式数据库,它采用了一系列的技术来保证数据的安全性、可靠性和可扩展性。区块链技术中的四大技术包括:
1)去中心化技术:区块链系统是基于去中心化的设计,没有中央机构或单点故障。数据和交易记录被分布在网络的各个节点上,每个节点都有权参与交易验证和账本维护,从而保证数据的安全性和可靠性。
2)共识机制技术:区块链系统通过共识机制来保证交易记录的一致性和准确性。共识机制都是基于密码学算法和数学模型来实现的,保证了系统的安全性和可信度。
3)加密算法技术:区块链系统采用了一系列的加密算法来保证数据的安全性和隐私性。例如,对称加密算法和非对称加密算法被广泛应用于交易数据的加密和解密,哈希算法被用于交易记录的验证和防篡改等。
4)智能合约技术:智能合约是一种基于区块链技术的自动化合约,它可以自动执行特定的交易或合约条件,并且不需要中介机构或第三方信任机构的介入。
区块链基于以上4项技术,可以为元宇宙提供安全、去中心化、可信的交易和社交体验,提高元宁宙中数字资产交易的效率和安全。区块链在元宇宙巾扮演着两个不可替代的角色。一方而,区块链技术充当存储库,因此用户可以使用它在元宇宙的任何地方存储数据;另一方面,区块链技术可以提供一个完整的经济系统,将元宇宙的虚拟世界与现实世界连接起来,用户可以像在现实世界中一样交易虚拟物品。因此,区块链连接了真实世界和虚拟世界u。然而,区块链也存在着安全缺陷。
Ali等总结了区块链在物联网方面的应用研究进展、趋势,介绍了区块链在物联网安全、隐私保护、数据共享等方面的应用场景和研究进展。尽管区块链的理论研究和应用发展日新月异,但是日前区块链体系架构中的各个层面仍存在安全缺陷,如区块链的理论安全性分析不完备、缺乏代码评估、安全事件频发等不安全因素限制了区块链的发展。例如,2017年5月爆发的比特币勒索病毒WannaCry袭击了上百个国家。
2.1.2 交互技术
在虚拟空间,交互技术为元宇宙提供沉浸式体验,为用户构建了虚实结合的综合感官。元宁宙交互技术包含手势交互、触觉交互、语音交互、嗅觉交互和脑机接口。
1)手势交互。手势识别让用户能更自然地与虚拟现实场景进行交互和控制,增强用户的沉浸感和体验感。手势交互分为基于视觉的非接触式手势交互和基于数据手套设备的接触式手势交互。前者利用Kinect体感控制器识别手势,主要是针对整体手势,而对手指小细节的识别与检测效果不佳。Leap Motion是一种专用于追踪手势的交互设备,它通过内部的多个红外相机实现亚毫米级的手势追踪,但足其返同的手势模型并不稳定,存在抖动现象。文献对比了基于单日和深度相机的手势识别相关研究,发现基于深度相机的手势识别方法更加实用和有效,它可以用于执行动态和静态手势识别。然而,由于视觉手势交互本身具有非接触性和模糊性等特点,手势界面的设计开发还存在以下问题:
(1)手势的理解问题,系统本身往往无法有效区分哪些是用户真正的交互动作,哪些仅仅是用户随意的下意识动作。
(2)算法的鲁棒性问题,由于手势本身具有多样性、多义性、多变性以及时空差异性等特点,射手势的正确识别仍存在困难。
(3)可扩展性问题,传统的手势训练过程繁琐复杂.技术门槛高,对普通用户来说不够友好,并且还存在遮挡情况下无法畅通交互的问题。数据手套则无此类痛点,遮挡情况下其应用更加具有优势。但数据手套每次测试都需要进行校准,存在使用不方便、可能阻碍手势的自然表达等缺点。
2)语音交互。语音识别模型经历了从最初的基于GMM-HMM (高斯混合隐马尔可夫)模型,发展到基于DNN-HMM (深度神经网络一隐马尔可夫)模型,再到现在的端到端语音识别模型3个阶段。近年来,由于端到端的语音识别模型在不降低性能的前提下模型尺寸更小,已经在学术研究领域以及工业生产领域比””超越了基于DNN-HMM的传统深度神经网络模型。
3)触觉交互。触感技术根据反馈信息实现了动觉与肤感的再现,元宇宙用户可以远程且实时地感知或控制真实或虚拟物体,实现人与环境的双向交流,增强元宇宙的交互性及使用的沉浸感。触觉交互技术在游戏行业和虚拟训练中一直有相关的应用,它会通过向用户施加某种力、震动等,让用户产生更加真实的沉浸感。触觉反馈技术可以分为接触式触觉反馈技术和非接触式触觉反馈技术。接触式触觉反馈技术大多应用在传统的硬屏设备或是手持没备中得到机械震感;非接触式触觉反馈技术主要由基于空气喷射、超声波辐射压、激光与超声结合的方式实现,相较于空气喷射、激光与超声结合的方式,超声波辐射压技术实现的触觉反馈效果更加细致。目前国外基于超声波辐射压技术实现的非接触式触觉反馈技术已经逐步应用在人机交互。布里斯托尔大学团队利用超声波实现触觉反馈,利用该技术与Leap Motion相结合实现了窄中实时触控”。坦佩雷大学团队研发了具有空中触觉反馈的头戴式显示器,将VR头戴设备与Leap Motion、超声相控阵列相结合实现空中无干扰的空中触觉反馈系统。近期,Liu等模仿人类皮肤中的默克尔细胞和鲁菲尼末梢的空问排列,设计、制造并使用人工智能引导的信号处理开发了一种模仿人类机械感觉的电子皮肤,配置了三维压力和应变传感器以及异质封装方法使其能够分辨出法向力或剪切力以及诱导应变,实验演示了这种电子皮肤可以通过触敏检测模量的变化来测量食物的新鲜度,如水果、蛋糕和面包。这种反应灵敏的仿牛电子皮肤有望为人机触觉交互提供可靠的工具。
4)嗅觉交互。虚拟嗅觉指在用户与虚拟环境的人机交互过程中,虚拟环境可使用户闻到真实气味。嗅觉交互是虚拟现实系统的重要组成部分,是虚拟现实研究领域的热点和难点。由于气味的多样性及其传播路径难以控制,嗅觉交互而临着同绕气味传递、检测和扩散的一系列挑战。Matsukura等将嗅觉与增强现实相结合,开发了一种嗅觉放大系统——利用吸附材料吸附特定的气味分子,然后经过浓缩处理后再呈现给用户;Chen研发了满足生物虚拟实验的交互需求的外置式气味发生装置(基于超声波雾化片雾化原理)和佩戴式气味发生装置(基于电热丝雾化原理),通过测试验证了气味发牛装置能够提高虚拟仿真实验系统的真实性与沉浸感。Wang等研制了在纳米多孔基底上集成纳米管传感器阵列的仿生嗅觉芯片,在人工智能的支持下,该芯片划各种气体具有高度的敏感性,对混合气体和24种不同的气味具有出色的区分能力,嗅觉芯片与机器狗的视觉传感器相结合,创建了一个可以识别盲盒中的物体的系统。
5)脑机接口。脑机接口(BCI)就是大脑和计算机直接进行交互。典型的BCI方案通常包括数据采集系统、采集信号的预处理、特征提取过程、特征分类、分类器输出的后处理,最后是控制接口和设备控制器。后处理的输出信号被转换成适当的命令,从而控制输出没备,如机械臂、视频游戏、轮椅等。脑机接口概念从提出至今已经有约150年(如图2所示),目前主要有3种实现方式:植入式、非植入式和半植入式。植入式脑机接口采用将电极芯片直接插入大脑深部核团的方式来采集神经电信号,信号精度高,信噪比高。但由于需要植入芯片,存在损伤神经细胞的风险。非植入式脑机接口则是将电极芯片敷贴在头皮外表面采集信号,无安全风险,但存信号质量不高、信号精度低、分辨率差、容易受背景噪音影响的问题。半植入式脑机接口介于上述两种方式之间,能够平衡上述两种方式的优缺点。目前人们大多研究的是非植入式BCI,近年来脑机接口逐渐成为研究热点。2016年,浙江大学Wu等在受试大鼠的脑中植入微电极,通过刺激大鼠内侧前脑束(MedialForebrain Bundle,MFB)让大鼠执行走迷宫任务,展示了混合脑机系统应用于增强人类学习和记忆的技术前景;2021年,Fleshcr等提出了一种双向脑机接口技术,对一位人类受试者植入微电极采集脑电信号的同时,对体感皮层进行微电极刺激产生触觉信号,将人工触觉感知信息与其视觉信息综合应用于机械手假肢的运动和抓取控制;Elon Musk成立的脑机接口公司Neuralink研发的一种可扩展的高带宽脑机接口系统于2020年8月实现了微小芯片对猪脑的植人和信息获取,并于2021年4月进行了恒河猴通过脑机接口用意念控制进行游戏的实验,取得了重要进展Lee等展示了测试者能在安装外骨骼时利用大脑信号成功完成三向(前/左/右)导航任务。Zhang等(2017)设计并开发了一种利用非侵入式BCI技术驱动半自主智能机器人(IDSIR)的系统,用以辅助重度残疾患者独立生活。
图2 脑机接口技术发展历史节点
目前,脑机接口正在高速发展时期,同时也而临多重挑战。
1)神经信号的稳定性问题。由于生理原因,神经信号会产生变化,需要解决稳定信号采集问题。
2)神经信号的复杂性。大脑中复杂的神经网络需要深入理解神经科学,并结合机器学习等方法进行分析和处理,需开发出能快速准确识别神经信息的编解码算法、高速处理数据的专用芯片等,以实现安全、高带宽的信号传输和处理系统。
3)安全性方面的挑战。植入式脑机接口会对周同神经细胞造成一定的损伤,需开发生物兼容性更好的微电极及其植入方法,实现对神经元长期、稳定和安全的读取和控制。
4)伦理和隐私问题。将脑机接口应用于脑信息的读取和脑活动的调控需要应对安全和隐私、自由意志和社会公平、身份认同等伦理方面的挑战。
2.1.3人工智能
人工智能为元宇宙中的交可和情感连接提供AI算法支持,AI生成(AIGC)可以为元宇宙提供高效丰富的数字内容,元宇宙用户可以通过AI技术实现数字化沉浸式交互体验。随着计算机视觉“、3和自然语言处理:“3的广泛应用,人工智能技术得到了加速发展,并已在元宁宙领域得到广泛应用,如智能AI主持人、AIGC等。
目前,依靠大数据和大模型,神经网络模型越来越接近甚至超越人类的感知智能。一方而。通过AI为元宁宙构建数字内容,可以大幅缩减构建元宇宙的周期和人力。另一方面,AICG还能利用算法洲练AI,让AI有能力脱离编剧与策划,对玩家的行为作出实时反馈,从而实现无穷的剧情分支并节省大量的开发成本。在元宁宙,借助区块链技术,人工智能艺术家将数据存储在分布式账本中,可以安全、自由地从事超越现实世界限制的社会和经济活动。将AI与扩展现实(XR)、区块链和网络等其他技术相结合,元宁宙可以在一个可靠的、永远稳定的平台上创建安全、可扩展的虚拟世界。近两年,随着深度强化学习、多模态大模型等技术取得快速发展,尤其是近期热度急剧增长的ChatGPT、的出现,使得通用人工智能迅速成为研究热点。通用人工智能模型需要大规模数据进行训练,元宇宙作为数字化的3D世界,能产生超级规模的数据量,是训练通用人工智能的绝佳场景。因此,人工智能技术赋能元宁宙,元宁宙为人工智能提供了大量新的商业场景和数据。
通用人工智能的目标是像人脑一样具备多通道协同处理、知识存储和迁移能力,通过不断的学习,构建有效、鲁棒的输入到输出空间映射关系,解决复杂的多模态应用问题。然而目前,人工智能还远没有达到通用人T智能阶段。人工智能研究的许多重要进展反映了一个趋势:来自脑科学的启发,即使是局部的借鉴,也能够有效地提升现有人工智能模型及系统的智能水平。不同脑区之间的协同,使得高度智能的类人认知功能得以实现,如哺乳动物脑的强化学习功能、长短时记忆功能等都是通过不同脑区功能协同实现的。Lyu等受脑区划分的启发,集成大量现有数据和预洲练模型,提出了大规模神经网络模型,并南脑功能机制提Ⅲ了相应的学习算法,根据场景输入和目标,自动构建神经网络通路,设计神经网络模型来获得输出。神经网络模型关注输入到输出空间的关系构建,通过不断学习,提升模型的关系映射能力,目标在于让该模型具备多通道协同处理能力,实现知识存储和持续学习。整个模型和所有数据、类脑功能区使用数据库系统进行管理,系统还集成了分布式神经网络训练算法,并在多个不同模态任务中验证了模型的可行性,跨越了数据特征空间学习到语义分析和推理间的障碍,为实现通用人工智能提供了一种研究思路。
2.1.4数字孪生
数字孪生技术是将现实世界中的实体、过程或系统建模成虚拟的、数值化的映像,以实现埘其仿真、优化、监控等操作,从而提高效率,降低成本和风险。在制造业领域,可以提升产品的制造精度;在农业领域,数字孪生技术将有机整合农业生产的物理实体和数字空间,提供虚实结合的仿真平台,实现划‘农业产品生长周期的预测和控制。数字孪生最初被应用于航空航天等国防领域,现在越来越多地被应用于建筑、电力、采矿、医疗、车辆等民用领域。在元宁宙中。数字孪生可以被厂泛应用于各种领域,例如:
1)建筑和城市规划。利用数字孪生技术,可以对建筑和城市进行数字化建模,以便对其进行设计、规划和管理。Liu等提出利用物联网和BIM技术搭建而向运维安全管理的冬奥场馆建筑的数字孪生模型,并提出基于实时孪生数据的动态疏散引导方案。Zhang等认为数字孪生有助于图书馆的物理信息深度融合,提出了数字孪生图书馆的技术框架,并将其运用到雄安图书馆的建设当中。Lu等通过BIM和物联网的结合,构建既有建筑的数字孪生模型,实现划建筑资产状态的实时监测、评估和智能化运维管理,并以离心泵为例,实现了故障的实时检测。
2)工业制造。利用数字孪生技术,可以对制造流程进行数字化建模,以便对其进行优化和管理。Guo等通过对数字孪生模型驱动的航空产品装配工艺机制进行研究,实现产品研发牛产的闭环优化决策及产品研制模式的改变,提高装配准确性、一致性及装配效率。目前数字孪生技术已经得到军民两个领域的重视,各个行业都开始持续关注和探索数字孪生这一关键技术的应用潜力。
数字孪生技术的发展还面临着以下挑战:
1)数据获取难度大,数字孪生技术需要实时获取大量的数据,包括传感器数据、图像数据、声音数据等,但这些数据的获取和处理难度较大,需要用先进的技术手段来处理;2)数据质量问题,数据孪生需要高质量的数据来构建模型,但实际情况下,传感器和其他数据可能存在噪声、误差和不一致性等问题,这可能会导致数字孪生模型的不准确性和不稳定;3)多模态数据融合难度大,数字孪牛技术需要整合多种数据源,包括传感器数据、图像数据、声音数据等,但这些数据源存在不同的数据格式和结构,这会导致整合数据的难度加大;4)模型复杂度高,数字孪生技术需要建立高度复杂的模型来模拟现实世界的系统和过程,这就需要先进的计算机算法和技术来支持;5)安全性和隐私问题,数字孪生技术需要使用大量的数据来建立模型,这会加大数据泄露和数据滥用风险,带来安全和隐私泄露隐患。
2.1.5 算力及运算技术
算力及运算技术是互联网基础设施的核心,其提供存储、计算服务。随着人工智能、物联网和5G等数据密集型领域的出现,人类对算力需求的依赖只会增加。有学者称,到2030年,元宇宙将需要高达数千千兆瓦的数据传输和存储容量。元宇宙巾的虚拟世界需要服务器进行数据处理和结果输出,以实现各种复杂的交互和体验。这些交互和体验可能包括虚拟角色的动作、场景的变化、音效的播放等,它们都需要强大的算力支持。此外,随着元宇宙的不断扩展和丰富,所需的算力也将不断增长。其次,运算技术在元宁宙中发挥着关键作用。元宇宙中的虚拟世界是一个高度动态和复杂的环境,需要实时处理大量的数据和信息。运算技术可以帮助元宇宙实现高效的数据处理和运算,从而确保虚拟世界的流畅运行和用户的良好体验。例如,通过优化算法和使用高效的编程语言,可以提高元宇宙中虚拟世界的渲染速度和交互响应速度。
2.1.6物联网技术
物联网推动了人机交互和智慧城市”7的发展,元宁宙设想利用物联网设备来实现元宇宙内的人类交互,从而实现物理世界的全面数字化。物联网技术既承担了物理世界数字化的前端采集与处理职能,也承担了元宇宙虚拟世界去渗透乃至管理物理世界的职能。物联网在元宇宙中扮演的角色体现在感知层、网络层和应用层这3个方面。
首先,感知层是物联网架构的基础,它通过各类传感器和设备收集环境中的信息,如温度、湿度、光照、压力等,并将这些信息转化为电子数据。在元宇宙中,感知层负责为元宇宙感知物理世界万物的信号和信息来源提供技术支撑。这意味着物联网的感知层技术可以帮助元宇宙获取现实世界的各种数据,实现虚拟世界与现实世界的深度融合。
其次.网络层是物联网架构中的关键组成部分,负责将感知层收集的数据传输到上层,同时也负责将上层的指令传输剑感知层和应用层。在元宁宙中,网络层技术为元宁宙感知物理世界万物的信号传输提供技术支撑。它利用物联网、互联网以及移动通信网络等,实现海量信息的稳定、可靠传输,确保元宇宙能够实时、准确地获取和处理现实世界的数据。
最后,应用层是物联网架构的顶层,主要负责对收集到的数据进行处理和分析,挖掘出有价值的信息,并将其应用到实际生活和上作中。在元宇宙中,应用层技术将万物链接并有序管理,是元宇宙万物虚实共生的最重要支撑。通过应用层技术,元宇宙可以实现各种复杂的应用场景,如智慧物流、智慧医疗、智慧同区等,为用户提供更加丰富、真实的虚拟体验。然而,南于物联网在业务、设备和网络的多样化集成,存储在设备上的数据很容易侵犯隐私。由于异构网络、体系结构和协议,物联网还容易受到单点故障的影响。
以上元宇宙各项关键技术呈现出“木桶效应”,即元宇宙的发展取决于“最短”技术的发展程度。各技术只满足元宁宙发展初期的需要,VR/AR等虚拟现实技术仍需进一步优化。区块链稳步发展,不断拓宽下游应用场景,基于区块链技术的虚拟货币也将受到地域性政策法规的规范和监管。
2.2元宇宙应用现状
2020年,在全球新冠肺炎疫情背景下,虚拟演唱会、虚拟教育、虚拟会议等现实需求触发了人们对“元宇宙”的期待。然而,目前元宇宙应用仍处于早期阶段,学术界和丁业界正在探索元宁宙的应用潜力,包括游戏、社交网络和电子商务等多个领域。近年来新的应用领域还包括娱乐社交、商业经营、生产制造等。
1)工作会议元宁宙。戴上一个头盔没备,人们在元宁宙这一虚拟世界中通过化身的方式互动,使用网络技术、人工智能多模态人机交互进行交流,查看演示文稿和图表,并分享进展和想法。2021年百度Create大会(AI开发者大会)正式在百度希壤会议中心举办,当时lO万用户在线聆听会议并交互,如图3所示。
图3 元宇宙会议
2)教育元宇宙。未来的教育由教学模式、教学评估和教学环境3个主要特征组成口“,这些特征涉及人工智能、区块链、人机交互、物联网和学习分析等技术,有助于提高学生的学习成绩和活动参与度。教育元宇宙为学生和教师提供足够真实、足够贴切、足够拟合的虚拟环境,使他们在学习过程巾获得完全的沉浸感。
图4所示为利用元宇宙呈现了生物、宇航和天文学教材的相关知识内容。目前,一些企业在元宁宙中建立虚拟学校、虚拟教室和虚拟图书馆等教育场景,提供在线教育和培训服务。例如:美国的“教育元宁宙联盟”在元宁宙平台开展了一系列教育项目;英国的诺丁汉大学在元宁宙平台中开展了虚拟考试和虚拟实验室等教学活动;日本的东京工业大学在元宇宙中开设了虚拟实验室,学生可以在虚拟环境下进行实验操作。在教育方面,Edu-Metaverse无疑将促进教育系统的巨大变化,例如在线举办仪式和建筑自动化,研究学生在现实生活和虚拟世界场景中的行为。
图4 教育元宇宙
3)农业元宇宙领域。通过对智慧农场进行三维建模(如图5所示),构建整个农场的高精度虚拟模型,各种机器人可以在虚拟世界中进行运动规划方案设定,设定结果通过物联网传输,人工智能技术控制农业机器人完成农业生产各个环节,实现无人智慧农场,降低农业生产成本。超级码科技提出了元宁宙智慧茶园,在元宁宙茶园中可以快速模拟茶树的生长周期,短时间内即可获取海量生长数据,突破了传统农业周期长、难量化等特点;通过小气候一体机、土壤墒情监测站等物联网设备实时采集土壤、气象等各维度数据,根据气象数据和历年流通数据,模拟开采期、产量和产值,还可以模拟不同气象条件下各类茶叶的品质,农户足不出户就能了解茶树的长势情况。在室内种植领域,室内农业种植者已经在使用AR技术对作物的生理习性、成长过程和相关数据进行数字化和监测。
图5 农业元宇宙
4)工业元宇宙。在制造领域,工业元宇宙的应用可以加速设备维修/维护、启动新生产线、远程监控/故障排除进程,元宇宙为制造、生产、监测及维护等全流程提升了沉浸式体验。图6为利用数字孪生技术对汽车、电机进行虚拟重建,可以进行维修质检等。针对工业元宇宙的终极应用,Yao等提出了一种超越基于信息物理系统(CPS)的工业4.0的社会技术增强的智慧制造架构和框架——工业/社会5.0。该系统利用人工智能、社会物联网(SIoT)、大数据、机器学习、边缘计算、社会计算、3D打印、区块链、数字孪生和合作机器人等技术,实现资源的高利用率,并通过元宁宙的智能制造和智能服务实现智能、弹性、町持续和以人为本的解决方案,提供满足个人体验和实际需求的产品和服务。
图6 工业元宁宙应用场景
3 问题与挑战
目前元宁宙而临着技术、内容、标准和法律等方而的难题,导致虚拟世界与现实世界的连通还没有完全实现。整体来看,元宇宙目前面临连接入口、行业应用、信息安全、规则设计和能源供应五大挑战,如图7所示。
图7 元宇宙面临的五大挑战
3.1 连接入口问题
目前连接入口主要以头戴显示设备(HMD)为主,但目前市场上主流的HMD普遍存在舒适性不够、图像质量不高、电池续航短等问题。图像质量方面,可以集成高速成像设备,记录场景深度和光谱信息,利用深度学习算法对图像进行有效的编解码优化,提高信噪比,减少伪影,加快计算速度,提高成像系统的适应性和灵活性。此外,元宇宙系统在多人协同交互过程巾,需要设计更多的交互工具,而当前的XR系统仅包含针对单个用户交互的工具(手柄、数据手套、电子皮肤等),这方面的硬件开发也是目前元宇宙连接入口需要考虑的问题。
3.2行业应用问题
目前,元宁宙还无法满足多元化业务需求,主要应用在娱乐、社交、游戏等单一领域。主要原因有:
1)人工智能日前还难以理解复杂场景和对象间的关系,跨领域复杂场景元宇宙还无法实现,难以满足多元化业务需求;2)受制于群体智能技术和算力技术的限制,日前元宇宙还无法支持多人实时多模态(如语音、表情及动作)互动;3)人工智能目前还未实现通用人工智能,判断推理等认知能力还较弱。
3.3信息安全问题
元宇宙虚拟世界中,用户的行为数据更加庞大,记录将更详细,以预防虚拟空间不法行为。线上性侵、用户隐私侵犯、抄袭、虚假宣传等违法犯罪活动将是元宇宙能否广泛应用的又一大挑战。其中最为关键的是,目前元宇宙缺乏全面的安全框架和虚拟沉浸式环境中平衡的隐私保护模型。为此,文献提出了一种基于零信任原则设计的新型元宇宙安全架构,这种架构优先考虑用户对数据、身份和体验的控制,并采取主动的安全措施,以减轻虚拟世界的各种潜在危害。同时,Otoum等提出将区块链和人工智能相结合,以解决元宇宙巾的信息安全问题。在区块链的创建过程巾,开发人员面临着微调众多参数和平衡考虑因素的任务,如激励机制、共识协议、安全措施和各种其他因素。一个潜在的解决方案是利用人工智能技术来应对这些挑战,提高区块链系统的整体安全性能。目前,机器学习在应对网络安全方面成为趋势,机器学习可以快速分析数百万个事件并识别各种威胁.其显著优势是它能够自动执行重复和耗时的任务,如情报分类、恶意软件分析、网络日志分析和漏洞评估。通过将其合并剑元宁宙中,应财网络威胁和保证其信息安全将具有可行性。
3.4规则设计问题
元宇宙具有与现实世界一一对应的各项要素,虚拟世界的社会规则、经济规则、商业规则、文化体系、治理体系如何设计是一个需要长期研究探索的过程。1)监管框架:元宁宙世界需要实施不同的法律,当前的法律法规需要在元宇宙世界中进行实施调整,如城市元宇宙生态系统中一个虚拟角色被其他虚拟角色攻击或性骚扰会产牛什么后果。2)缺乏一致的标准:尽管大量公司投资虚拟现实技术,但构建虚拟世界的行业标准尚未建立。3)不同元宇宙应用程序之间的互操作性:激烈的竞争导致程序之间缺乏互操作性,紧密连接的多个元宇宙世界很难共享空间。
3.5能源供应问题
元宇宙发展所依赖的每一项数字技术都是建立在增加能耗的基础之上,例如区块链运行需要进行大量的计算,消耗大量能源。以比特币能量消耗为例,研究显示,全球比特币挖矿每年消耗87.1太瓦时(Twh)的电能,相当于一个中小型国家如丹麦或比利时全国一年的耗电量。此外,大数据中心对环境要求极高,需要依赖空调、水冷机等辅助设备降温,导致数据中心能耗过高,在全球碳中和的趋势下.能源消耗问题是元宇宙面临的又一大挑战。
4 未来研究方向及发展趋势
近年来,初步的元宁宙应用已经在一些细分领域丌始了应用并日益火热,如元宇宙虚拟平台开发及应用、数字人频频出现在各大网络平台。
4.1 元宇宙研究方向
随着元宁宙相关技术的不断迭代发展,元宁宙已经成为一个备受关注的领域。未来,元宇宙的研究方向可能包括以下几个方面:
1)元宇宙平台的开发和建设。随着元宇宙技术的不断发展和完善.各种元宁宙平台将会不断涌现,以提供更加高效、便捷、多样化的虚拟世界和服务。
2)提高现实技术可扩展性.扩展应用范同。提高可扩展性可以降低使用成本,涉及跨学科研究,主要包含:
(1)协作支持特性,如访问控制.以及提示协作者在何地并感知其需要做什么的线索;(2)虚拟重建物理场景和语义分割的一致性、可访问性;(3)XR中用于选择、操作和导航的交互技术,如用户在不同设备之间切换,也能保持直观性。应用范围方面,通过扩展现实技术与物联网技术的结合,拓展其在工业生产、教育培训、医疗卫生等行业的应用。
3)智能区块链技术。近年来.区块链在交通、娱乐、医疗、金融等领域得到了工业界和学术界的广泛关注。然而,现有的区块链技术仍然存在互操作性有限、缺乏财务和标准化、恶意活动可能阻碍区块链应用的大规模部署等问题。通过与有效的人工智能方案相结合,智能区块链可以为下一代网络与通信面临的智能资源分配、智能访问权限控制、恶意行为监控、数据安全传输等诸多问题提供全新的解决方案,在未来网络与通信领域发挥重要作用。例如在区块链应用时,数据一旦使用特定的哈希值保存在网络,就不能更改。然而,这一区块链属性违反了通用数据保护条例中关于数据个人信息删除权的规定。因此,在部署元宇宙时,需要解决删除信息的权利的问题。
4)人工智能大模型的应用及其可解释性研究。基于大语言模型(LLMs)在语言生成、知识推理、人机对话任务中具有突出的表现,元宇宙虚拟世界的人机交互变得越来越自然流畅,这必然会加速LLMs技术在元宁宙领域的应用进程。然而,由于大模型底层技术本身是黑盒模型,元宇宙开发者、虚拟世界设计师和用户不能完全理解AI的决策过程,可能盲目地信任它们。通过对可解释人T智能的持续研究,在元宇宙中,人类可以理解和解释人工智能模型中到底发生了什么,人工智能算法如何生成特定结果,以及预测模型何时可能崩溃,从而提高终端用户信心、模型町审计性和运行效率,同时降低元宇宙中的法律风险和安全威胁。
5)多模态交互技术的应用和拓展。多模态交互技术为元宁宙提供更高层次的多模态感官交互。视觉、动觉、触觉和味觉等感官刺激的融合.可以使虚拟交互环境更加真实、自然。腕带式AR传感器、电子触觉手套/A肤、嗅觉面罩等新交互方式的出现,将带来全新的多模态交互体验。元宇宙将突破“2D视觉+听觉”双感官交互阶段。进人多感官融合交互时代,在元宇宙巾可同时进行3D视觉、触觉、嗅觉、味觉的交互。
6)融合语义感知的数字孪生技术。语义感知数字孪生通过背景推理的高效语义传递和与数字孪生的沉浸式交互。支持元宇宙巾具有实时社交联系的3D虚拟世界,包括数字孪生模型的建立和优化、数字孪牛技术和虚拟人的结合。
图8 元宇宙发展的3个阶段
4.2元宇宙发展趋势
根据当前的技术发展趋势和行业洞察,元宁宙的发展大致可以划分为以下3个阶段:云游戏、数字孪生和虚实共生。随着各项技术的发展,第一阶段是以社交+娱乐为主的云游戏阶段,第二阶段是虚拟和现实概念逐渐模糊的数字孪生阶段。第三阶段是虚实共生的全真互联网阶段,如图8所示。
1)第一阶段,元宇宙推动人工智能快速发展。在内容制作领域,其通过汁算机视觉、自然语言处理技术,全自动生成建筑、环境、音乐。元宇宙产生的海量数据被用于人T智能的训练,逐步形成元宁宙原生的人工智能技术。
2)第二阶段,随着资产数字化加速,NFTs(Non Fungib leTokens,非同质化代币)有望在元宇宙加速推广。NFTs是当前区块链技术中最热rJ的趋势之一。NFT是在区块链上生成的不可复制的唯一代币,其首次将稀缺性原则引入了数字资产。NFT为区块链带来了无数的新用例,已超出了艺术品和数字收藏品范畴,其正在开创一个“从玩到赚”的游戏新时代。随着元宇宙概念的发展,NFT或将成为这些虚拟世界的重要组成部分,并在此过程中获得更多的应用。
3)第三阶段,随着元宇宙经济和法律体系的构建和逐步成熟以及BCI的广泛应用,元宇宙将渗透到社会生活的各个方面。人类借助脑机芯片的植入或者大脑信息数据的存储, 将会实现数字永生。
结束语
元宇宙是独立于现实物理空间的虚拟数字空间。元宁宙基于交互技术提供沉浸式多模态交互体验,基于数字孪生技术实现现实世界与虚拟世界的互相融合,基于区块链技术构建独立的经济系统和治理规则.基于人工智能提高智慧能力,基于物联网技术获取重要的信息来源,而算力及运算技术是元宇宙的重要基础设施。元宇宙将虚拟世界与现实世界在经济系统、社交系统、身份系统上密切融合,并且允许每个用户进行内容生产和编辑,创作者可以实现持续的内容供给,而用户则可以享受到极致的内容体验,打造新型消费场景和虚拟消费品,使消费场景不再局限于有限的物理空间,析是不断向虚拟空间拓展和延伸。未来,以沉浸式体验为主的元宇宙将会加速发展,为人类带来虚实融合的消费场景、超越现实的游戏娱乐体验、身临其境的虚拟社交方式。
原文刊载于《计算机科学》2024年12月 作者:王文通 张智军 张铭洋
暂无评论,等你抢沙发