近日，浪潮信息副总裁、ai&hpc产品线总经理刘军受邀出席新智元“元宇宙新人类”论坛，在《元宇宙metaengine》主题报告中，分享了浪潮信息对元宇宙的认知，元宇宙面临的技术挑战，以及如何打造元宇宙新型基础设施的见解。
以下基于演讲实录整理。
元宇宙是数实融合的数字载体
数实融合当前已经成为一种潮流的趋势，当数字技术日益融入经济社会发展各领域、全过程，持续推动着物理世界数字化、数字世界智慧化，逐渐形成了一场涵盖个人生活方式、社会生产方式和国家治理方式的全面变革。
数实相融就是数字化世界同物理世界的融合，用数字世界来引导现实世界的运行，用数字世界的智慧化实现现实世界的智慧化。
元宇宙本质上是更高度的数实融合，它是数实融合的数字载体，这里我们以数字孪生和虚拟人为例来谈谈。
数字孪生是元宇宙的数字空间基础，它可以将物理对象以数字化的方式在虚拟空间进行动态呈现，它的应用体现在多个方面，比如孪生工厂，可以动态的呈现从生产制作的全过程动态管理，实现运转效率的大幅提升；孪生城市可以在数字世界推演天气环境、人口土地、产业交通等要素的交互运行，绘制城市画像，帮助城市规划、城市治理的效率提升；孪生基建可以让我们在修建高速公路、楼体建筑时，在数字世界对工程进行仿真模拟，评估结构和承力，在工程交付后的维护阶段评估工程是否可以承担特殊情况的压力，以及监测可能出现的事故隐患。
数字虚拟人是元宇宙的重要实体（entity）和生态，就像是元宇宙世界中的公民，是人类身份在虚拟世界的载体。利用数字虚拟人，人们也可以提升很多工作效率，比如虚拟主播可以7*24小时的进行新闻播报，可以让人们全天候的了解天下大事，虚拟医生可以通过打通就诊数据、跟踪上万种细微指标特征差异，打破时间和空间，实现医生就诊病人从1对1转变为1对多管理，虚拟模特在疫情下缓解了模特紧缺的市场情况，解决模特的供不应求。
元宇宙：认知世界再现世界
元宇宙，可以说是一个认知世界、再现世界的过程，这个过程涉及到在线协同建模、高精度仿真、实时渲染、智能交互等多个环节，每个环节下都有对应的关键技术、软件栈和算法工具。
首先，构建元宇宙需要进行3d建模，最近比较前沿的还有aigc（利用gan/多模态模型生成内容创作），这部分的工作需要多人在线协同构建。
由多人在线协同生成3d模型生成后，需要在元宇宙中仿真运行，通过结构仿真、感知仿真和控制仿真可以对模型进行验证，如果说建模是对物理实体理解的模型化，那么仿真就是验证和确认这种理解的正确性和有效性的工具。
通过光线追踪、光栅化、数据流传输可以让虚拟人、数字世界更加逼真，为用户带来超现实的感官体验，呈现出一个更加丰富多彩的数字世界，拥有逼近现实世界一样的沉浸感。
利用cv/nlp/asr/tts等ai技术，让数字世界的虚拟人可以能听、会说、能交互，从而打破数字世界和物理世界的边界，实现线上线下的交融。
元宇宙通过以上多个环节、多个工具才能达到超越感官、智能交互的水平，像现实世界一样丰富多彩。
元宇宙需要强大的算力基础设施
元宇宙的出现和发展带来的不仅有精彩，还有挑战，元宇宙构建的各个环节都需要用到不同类型的算力支撑，也就是元宇宙的算力基础设施。
大规模、高复杂的数字孪生空间、数字人和其他实体角色的建模需要众多设计师协同创作完成，现实世界和数字世界的交互则需要实时、高清的3d渲染算力和低延迟的网络数据传输，增加了云端协同的处理需求。
元宇宙的应用会涉及到动力、热力、流体等多类物理仿真，这需要用到高精度的数值计算，来支撑物理仿真和科学可视化。
让数字世界无限接近现实世界，需要高逼真、沉浸感的3d场景构建和渲染。举个imax3d电影的例子，比如《战斗天使阿丽塔》这部电影，其中阿丽塔高度拟真的视觉特效令人震撼，这样以假乱真的渲染效果来源于巨大的算力消耗：主角13万根发丝每根都需要进行单独渲染，仅1帧画面渲染就要耗费100个小时，而元宇宙的渲染不仅只涉及一个虚拟人，还包括建筑、城市等其他元素，这需要巨量的图形图像计算支撑。
同时，元宇宙还会涉及到人机交互等ai应用场景，由ai驱动的数字人往往需要结合语音识别、nlp、dlrm等ai算法从而实现交互能力，这些模型的背后需要强大的ai算力来支撑其训练和推理需求。
可以看到，要构建高度拟真的数字世界并实现数亿用户实时交互的“元宇宙”，当前面临着场景规模大、场景复杂度高，以及多设计师和多部门协作、极高逼真数字元素制作，实时渲染、仿真和交互等诸多挑战，并对支撑元宇宙构建和运转的核心源动力——算力提出更高的要求。这种要求不仅仅是高性能、低延迟、易扩展的硬件平台，还有端到端、生态丰富、高易用的软件栈。
浪潮元宇宙服务器metaengine
浪潮元宇宙服务器metaengine正是为满足这些苛刻要求而设计的软硬一体化基础设施。
作为元宇宙生态的底层算力支撑平台，metaengine将承载元宇宙构建和运行所需的技术和工具，提供对ai、渲染、仿真、建模等负载的算力支持，满足元宇宙创建所需的“协同创建、实时渲染、高精仿真、智能交互”4大作业环节的不同类型算力需求，并通过高速、无阻塞的网络信道，按需扩展至大规模算力集群。浪潮元宇宙服务器结合业界最强软硬件生态，协同优化加速数字孪生世界构建，为用户打造高效的元宇宙协同开发体验。单台元宇宙服务器即可支持256位元宇宙架构师协同创作，每秒aigc2000个数字场景，1000位vr/ar用户共享10k超高清3d数字世界顺畅体验。
元宇宙服务器产品方案架构
在硬件上，metaengine采用浪潮领先的异构加速服务器的旗舰系统，支持最先进的cpu和gpu，具有强大的rdma通信和数据存储能力，支持强大的渲染和ai计算能力。
在软件上，可以支持对应每个作业环节的各类专业软件工具，用户可以根据使用习惯灵活选择，同时系统集成了nvidiaomniverse enterprise，为用户准备了丰富的开发套件，包括专门用于结构、感知、控制仿真的simulationsdks，用于渲染、实时光追、ai降噪的sdks，用户可以通过kit功能将这些不同的sdk进行模块化的组合，快速完成定制化app或者微服务的开发，当然这里已经为用户准备好了一些广泛适用的app比如用于建模和渲染的create，用于可视化的view，更为重要的是，用户通过app开发的内容可以通过数据库和协作引擎nucleus，建模工具互联插件connect与第三方专业软件工具无缝连接，目前connect已经提供了20多种plugins，支持与3dsmax、ue、maya等软件互联。
metaengine的目标是构建一个端到端、生态丰富和高易用的协作平台，为用户打造一站式元宇宙开发体验。
metaengine全面支持omniverse
当前，metaengine已经全面支持英伟达的omniverseenterprise，将高性能gpu的图形计算、ai计算与高速存储访问、低延迟网络和精确计时相结合，是一个数据中心级的软硬一体米乐官网app的解决方案，专用于为大规模数字孪生提供算力和应用支持，以实时创建和运行非常复杂的模型和逼真的仿真环境。
目前的metaengine元宇宙服务器集成a40的专业gpu，cx6dx高速网卡，并与企业级管理和编排软件相结合，为用户准备了丰富的建模、渲染、仿真套件。同时，可以将32台metaengine组合成为1个集群式的可扩展单元，多个可扩展单元可以继续横向扩展组成更大规模集群，可提供非凡的计算性能和超高的网络带宽，满足工厂、城市乃至更大规模复杂仿真和实时数字孪生的需求。
在这里，我也将为大家分享如何用浪潮metaenigne创建数字孪生和虚拟人。
metaengine创建数字孪生
首先，以新品设计、流水线调度生产、上市为例，谈一谈metaengine如何创建运行数字孪生，来优化工作流，提高生产效率。当生产及需求达到一定规模时，生产、配送、分拣的过程就成为了一个系统工程性问题，如饮料、汽车等各行业的大规模制造公司。使用数字孪生让虚拟世界的高精仿真代替现实世界的运行，在产品设计生产、调配之前，模拟其过程取得物理装置最优的参数配置，提高效率赢得市场。
如何建造一个流水线上的数字孪生？metaengine提供元宇宙构建所需的多元算力和omniverse组件，为构建和运行该数字孪生提供基础能力。
首先是在线建模，按照1：1数字模型创建工厂的建筑、流水线等生产交付全过程。connect组件提供20多个第三方建模软件的连接插件，允许用户使用第三方建模工具接入协同建模，omniverse使用统一数据格式usd与第三方建模软件（sketchup/revit）进行数据交互，nucleus数据库提供多人数据管理功能，允许多用户同时修改可视化、渲染3d-usd文件。
高精仿真阶段使用simulation组件仿真新产品的材质及物理属性，根据高逼真的虚拟物品，使用replicator完成仿真环境的部署、搭建。omniverse丰富的材质库可以为设计模拟物品，提供更好的逼真度，配合使用物理仿真、动画制作的软件（ansys/houdini）可以完成整个流水线和物品的高精仿真；replicator组件则根据仿真结果生成ai模型训练需要的合成数据环境。
实时渲染阶段，使用renderer组件对仿真环境中的材质、光照条件实时渲染画面，生成用于训练ai模型的合成数据。根据合成数据在metaengine中训练我们的ai视觉模型，提供物理实体及流水线流程的监控及理解。
智能交互阶段，将在metaengine中训练完成的ai模型部署于物理环境与虚拟环境，虚拟环境中的ai推理指导物理实体行为，物理环境中实际反应再返回虚拟环境指导模型融合训练。虚拟世界中如检测到画面中的拥堵或者空闲，可以反馈到物理流水线改变作业状态，反之物理流水线上真实的结果可以生成真实数据继续更新ai模型。
metaengine创建虚拟数字人
我们再以高逼真的交互型虚拟数字人的制作及使用为例，依然按照“协作建模---高精仿真---实时渲染---智能交互”的作业流程来看如何用metaengine创建虚拟人。
首先可以使用uemetahuman/character creator配合omniversenucleus/connect进行3d人物形象及人脸建模。然后通过高精仿真，让虚拟数字人更加自然、真切的与我们交流，比如对毛发的模拟，12万根毛发如何在风中飞舞，这得需要强大的算力支撑，还需要借助ai模型生成逼真的手势和面部表情。
再就是实时渲染，metaengine中的omniversertx renderer可以提供实时渲染能力，让人物动画及其场景实时立体地展示在我们面前，通过屏幕或xr设备进行沟通交流。
最后是智能交互使用，这块需要有大量的ai模型提供支撑，把整个智能交互的流程放大来看。用户首先通过语音和视频分别通过asr和visionai模型进行推理，得到文本及视频动作理解；将文本、动作理解融合送入的nlp语言模型如源1.0生成语言文本，再将语言文本转化为语音或动作语言表述，通过tts模型将文本转化为语音，语音驱动avatar制作的虚拟数字人，产生面部行为（audio2face应用）动作手势（audio2gesture），并通过rtxrenderer实时渲染能力生成动画视频作为输出与用户交互。
当然，元宇宙不仅只有数字孪生和虚拟人。元宇宙要实时地映射现实世界，在元宇宙中再现工业、农业、服务业、社会、经济、文化、城市、乡村、地球等现实世界，用户“身临其境”地在其中社交、娱乐、会议、协作、旅游、购物、教育，所有人都可以在其中互动，要达到这样的目标，还有很长的路要去走，需要不断探索和发现更有效率的实现元宇宙的创新技术和方案。
如同发展汽车产业需要高速公路一样，汽车是应用，公路是基础设施，元宇宙也需要基础设施。metaengine元宇宙服务器即是浪潮为加速元宇宙产业提出的算力基础设施。
评论