元宇宙和大模型都离不开 NVIDIA
2023-08-08 08:12
MetaPost
2023-08-08 08:12
订阅此专栏
收藏此文章
万亿市值坚持只做基础建设。


撰文:MetaPost 


导读:2019 年,NVIDIA Omniverse 上线;2021 年,Omniverse Enterprise 正式发布;2022 年,Omniverse Cloud 云平台发布,使得 Omniverse 具备了更多云属性;同年,NVIDIA OVX 系统发布,带来了经过专门优化的硬件计算平台。



与此同时,NVIDIA 在元宇宙的布局逐渐清晰,NVIDIA 希望利用自身在图形计算以及 AI、GPU 等技术得天独厚的优势,为各个行业的企业提供全栈式解决方案,从而对生产质量和效率带来实质性的改善。


其实早在元宇宙概念走进大众视野之前,NVIDIA 就已经着手于相关技术的开发及储备。在深刻洞察各个行业对于虚拟世界和数字孪生的需求后,NVIDIA 对此进行了针对性研发。在其不断迭代自身解决方案的同时,众多大型企业纷纷通过 Omniverse 构建了自己的数字孪生或工业元宇宙。


随着全球对于元宇宙的热情不断高涨,也催化了这些技术成果快速从幕后走向台前。


MetaPost 的读者对于 Omniverse 可能并不陌生,此前已多次介绍过。今天,我们再来详细聊聊元宇宙和数字孪生如何通过 Omniverse 落地,以及更多场景下的应用案例。


你以为 NVIDIA 只是靠着 GPU 飚进万亿市值?可不止。


为什么 Omniverse 是构建元宇宙的工具?


NVIDIA Omniverse 是为了构建具有物理规则的虚拟世界而诞生的。通过 Omniverse 在虚拟世界中做 AI 训练,再反馈、帮助到现实世界;也可以模拟现实世界中的物理特性,为实际生产提升效率。


现在的互联网内容其实还是以图片、2D 视频、文字为主。NVIDIA 认为,在未来几年,互联网传输内容中将出现大量的 3D 内容,3D 内容将为现有行业带来新的变革——而元宇宙就是互联网的 3D 内容演变。


在搞清楚 Omniverse 和元宇宙的关系前,我们先来搞清楚几个问题:


1、构建元宇宙,需要哪些元素?


1) 开放的标准。既然是 3D 世界,自然会存在内容的交互问题,互联网时代是 HTML,3D 内容时代则需要新的数据交互传输格式。开放标准的文件会使用 USD(通用场景描述),它本身就是一个开放的格式,越来越多的第三方软件已开始支持 USD。


2) 可扩展、可加速、时间精准的系统。只有可扩展的系统才能承载庞大的虚拟世界。元宇宙可不像游戏,使用一个沙盒就可以运行开放世界游戏,对于现实世界的模拟要宏大得多。


3) 遵循物理世界的实时仿真。仿真有很多,但目前能做到实时仿真的软件并不多。


4)AI。AI 可以帮助我们生成大量相应的 3D 数字内容,在虚拟世界中进行相关的 AI 模型训练,再部署到现实世界。


而 Omniverse 具备了以上所有元素——由 USD、可扩展性、认证的硬件平台,以及不断扩大的第三方生态系统组成。这也使得其成为构建元宇宙的绝佳工具。



2、 数字孪生也需要一些最基础的元素,它的要求又是什么?


1) 首先是虚拟数据集的单一实时来源。用过第三方软件,你就会发现,各种软件都有各自的格式,当汇总到同一个场景下,难免会出现数据丢失。比如当 CAD 的工程软件转换成 MESH 文件,有些文件会莫名其妙地消失,就是因为没有单一的实时来源。


2) 现实世界是遵循物理学的,虚拟世界自然也需要遵循。Omniverse 平台利用 Feedback 技术可以实现这一点,并支持 AI 的训练和优化。精确计时、与现实世界完美同步。单一的物理世界实现跟世界时钟同步并不是最大的挑战,当 OVX 集群出现,多个 OVX 物理服务器横跨了如 64 代物理服务器,如何保证在渲染同一场景或不同场景下,时间还是完美同步的,才是最大的挑战。


基于 NVIDIA 最核心的几项技术:发展了 20 多年的 RTX 渲染技术,CUDA——最强的护城河,PhysX——在 SDK 开发了很多年,以及 AI,NVIDIA 将这些最基础的技术配合 USD,铸造了 Omniverse 平台,并在上面开发了不同场景下的应用。


巨头纷纷布局元宇宙和数字孪生


Omniverse 在工业元宇宙和数字孪生的应用,涵盖了汽车制造业、能源、交通运输、零售,以及科学技术研究、山火研究、气候研究等等。


宝马数字工厂


宝马集团在全球拥有 31 家工厂,40 个不同车型的 2100 多种可能的车型配置,年产量达到 250 万辆,99% 都是定制化生产,是全球最大的汽车定制制造公司之一。


在这样的规模下生产定制车辆,需要在整个制造过程拥有极高的灵活性和敏捷性。现在宝马集团已经实施了一套完整的端到端数字孪生工厂管理系统,将现实和虚拟现实、机器人技术,以及人工智能相结合。这套实时的数字孪生系统涉及 NVIDIA 的软硬件,利用 Omniverse 综合的数字孪生平台,在其全球生产网络中设计、训练、构建和仿真,以及最后部署运行工业的元宇宙应用,利用虚拟世界来优化整个工厂布局、机器人的开发和物流系统。



将不同工具、不同来源的数据汇集到大型的高性能模型,便可实现跨地区、多用户的实时协作。


例如,宝马集团需要定期重新配置生产线来适应新车型,以往物理生产线设计和配置需要根据新的配置停机停产,效率低下,各地规划团队也通常需要在同一地点进行设计及测试。随着电动车和混合动力车型的整合,使得这个过程变得更加复杂,因为增加了各种新的零部件和流程。但在数字孪生工厂中,不同地点的规划专家可以使用 Omniverse 平台进行实时测试和调整生产线设计,打破了时间、空间和人员规划上的限制。基于数字孪生实时内容驱动的布局和流程的评估,加快了整体实验和决策的过程,运行成本也大大降低。



零售:劳氏集团



劳氏集团是美国第二大家居装修零售集团,也开始利用数字孪生和人工智能进行零售门店的规划。不对店铺进行任何改变,便可测试和验证数千种产品的布局,通过 Omniverse 用以往无法实现的方式将店铺数据整合到一起。同时使店员和规划者能够实时协作,了解销售业绩,并识别异常情况。



数字孪生技术还可以捕获客户的购物数据,以便改善店铺的布局,提供更好的购物体验。



比如用 Omniverse 进行三维可视化模拟,将之前独立的数据整合起来,并挖掘它们之间的联系。同时,还可以模拟店铺的流量,作为 AI 模型的训练数据。通过现实的 3D 扫描设备,将实际的装修物料应用到虚拟的厨房或浴室中进行沉浸式体验。利用增强现实设备,可以看到销售业绩和客户流量,以及顾客的动线。


交通运输:德国铁路局


通过单一的真实数据源,数字孪生可以用于检测和实验整个铁路线网的网络,实现车辆和铁路的持续改进,最大程度地提高运行效率和速度,降低运营成本。


目前德国铁路局数字孪生的铁路线网已经覆盖 5700 座车站和 33000 公里的铁路线网。除了仿真之外,数字孪生系统还为训练完全自动化的铁路系统 AI 模型提供了很好的环境。



数字孪生基站可以与现实世界的火车和铁路连网进行同步。如果火车上的相机或激光雷达传感器检测到了潜在危险,其精确位置可以迅速传递给网络中的其它火车,防止发生碰撞或拥堵。如果站点 AI 计算机视觉相机注意到任何异常,也可以触发事件来通知工作人员。同时,智能传感器在现实世界和由 Omniverse Replicator 生成的合成数据组合上进行训练和优化,确保 AI 模型在任何情景下都能够感知、规划和运行。


仓储物流:亚马逊机器人


作为全球最大的电商平台之一,亚马逊拥有超过 200 个配送中心,每天要处理数千万个包裹,需要超过 50 万台移动机器人来支持整个仓库的物流系统运转。


亚马逊机器人也在利用 NVIDIA Omniverse 构筑仓储中心的数字中心,优化仓库的设计和流程,训练更加智能的机器人助手,以提高整体生产力。



在将各种不同的机器人深入到各种仓储中心之前,就可以通过数字孪生对各种软硬件的配置进行验证,避免真实系统的宕机失效,最大化整体运行效率。此外,数字孪生系统还可以生成不同形状、大小、重量的包裹来训练和检验自动分拣的效果。



亚马逊机器人管理了全球最大规模的移动机器人编队,以往无法将 3D 数据汇集到统一的管道和训练模型中,且没有足够精确的采集数据来支撑 AI 模型的训练和感知。通过数字孪生可以将多个不同 CAD 应用程序的数据集中到高保真度的仓储中心数字孪生系统中心,通过数字仿真了解整体仓库的性能优化、整体设计,通过合成数据的生成来提升感知模型的训练精度,从而缩短运行时间。


能源:西门子集团


西门子能源在全球 600 多个回热锅炉的厂房检修管道腐蚀,如果能够将管道腐蚀厚度减小的宕机维修时间缩短 10%,每年就可以节省约 17 亿美金。



预测整体的管道腐蚀情况,通常需要 8 周的计算时间,这是传统 HPC 高性能计算的运算时间。而通过数字孪生技术,包括 Omniverse 的数字仿真,以及 Modulus 数字物理模拟仿真,可以将整个管道腐蚀预测时间缩短到小时级别。


2022 年 NVIDIA 宣布进一步扩展和西门子的合作伙伴关系,将西门子 Xcelerator 和 NVIDIA 的 Omniverse 平台连接起来,共同打造工业元宇宙。



西门子是工业自动化软件基础设施、建筑技术和交通领域的领先者,结合 NVIDIA 在加速图形和人工智能领域的成果,将为用户带来生产和产品全生命周期的效率、生产力以及流程等优化提升。


此外,NVIDIA 还透露,一直都在积极推进和中国品牌的合作,国内几家知名车企已经进入到 Omniverse 的部署阶段。


未来数字孪生还将引入哪些新技术?


NVIDIA 表示,首先增强现实、混合现实等技术。通过 AR、MR 等设备,可以让每个人沉浸式地体验数字孪生世界。


其次是生成式 AI 的引入。通过 AI 技术在数字孪生系统中,生成低成本、高效、高保真度、高精度的 3D 资产,将是未来的技术方向之一。


最后,基于大型语言模型的应用,也为可交付式元宇宙的应用提供支持,颠覆以往需要利用 CAD 软件或者编写代码、图形界面等操作,替换为通过自然语言的交互就可以完成数字孪生系统的生产或运行。


结语


不难看出,NVIDIA 一直保持着自己的节奏,有条不紊地推进元宇宙的相关布局,不断完善着行业的基础建设。


NVIDIA 表示,在人工智能、SDR 深度学习等方面,其前期的 CUDA 语言建设其实早在 2008 年便已开始,「基础建设一定是要走在行业应用前面的。我们对元宇宙依然充满了热情和信心,还是会继续完善基础建设。未来相信整个生态都会群策群力,寻找到元宇宙真正能够创造价值的方式和落地的方向。」


而他们的关注点在于:连接,模拟仿真,对现实世界的运维、交互,以及数字世界和现实世界的运维、交互。NVIDIA 的一切技术都围绕这些展开,然后去解决不同行业的痛点,「只要有痛点存在,就有需求和市场空间在,我们做的事情从未停下来。」

【免责声明】市场有风险,投资需谨慎。本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

MetaPost
数据请求中
查看更多

推荐专栏

数据请求中
在 App 打开