华体会-突破物理AI开发和部署难题，英伟达Cosmos和全新Blueprint发布

2025-01-16

[导读]跟着人工智能手艺的不竭进化，“Physical AI”（物理人工智能）正在成为鞭策全球财产转型的焦点气力。按照猜测，这项手艺将影响价值50万亿美元的财产链，从工场主动化到仓储治理，再到人形机械人和智能驾驶。估计将来将有跨越1000万家工场、20万个仓库、数十亿台人形机械人和15亿辆智能车辆融入物理人工智能的生态系统，周全重塑人类的出产和糊口体例。这是一场范围空前的变化，其背后依靠在壮大的算力、进步前辈的AI算法和协作式机械人手艺。跟着人工智能手艺的不竭进化，“Physical AI”（物理人工智能）正在成为鞭策全球财产转型的焦点气力。按照猜测，这项手艺将影响价值50万亿美元的财产链，从工场主动化到仓储治理，再到人形机械人和智能驾驶。估计将来将有跨越1000万家工场、20万个仓库、数十亿台人形机械人和15亿辆智能车辆融入物理人工智能的生态系统，周全重塑人类的出产和糊口体例。这是一场范围空前的变化，其背后依靠在壮大的算力、进步前辈的AI算法和协作式机械人手艺。在CES2025上，英伟达发布了全新的NVIDIA Cosmos 世界根本模子（World Foundation Models，WFMs）和两个全新的Blueprint——Isaac GR00T和Mega，这些全新的模子和东西将会加快物理AI的开辟和提高机械人的自立性，帮忙我们快速迎接AI的下一海浪潮。物理AI的三个年夜脑：模子、摹拟、摆设物理AI的实现需要颠末模子构建、行动摹拟和实际摆设三个要害步调，这三个环节串连起来，为人工智能从构思到现实利用供给了闭环撑持，使机械人和主动驾驶汽车可以或许真正赋能物理世界。起首，物理AI的出发点是模子的构建，经由过程深度进修算法练习AI，使其具有复杂使命的理解能力；接着是行动摹拟，在虚拟情况中对模子进行测试和优化，确保其平安性和靠得住性；最后是摆设运行，将优化后的模子利用到现实场景中，实实际时的智能化决议计划和操作。为了撑持这一流程，英伟达的三个年夜脑（三年夜计较平台）别离阐扬着相当主要的感化： ·DGX：作为AI练习平台，DGX经由过程壮大的算力完成深度进修模子的建立，为AI供给“常识”根本。 ·Omniverse：作为虚拟摹拟平台，Omniverse缔造出高度仿真的测试情况，使AI模子可以频频进行优化和调剂，避免直接在实际中测试的高风险。 AGX：作为摆设平台，AGX使AI可以或许在实际情况中及时运行，处置复杂的传感器数据，履行智能决议计划。在具体利用中，“三计较机”解决方案在人形机械人和主动驾驶汽车范畴揭示出了壮大的顺应性和功能： ·在人形机械人中：DGX负责练习机械人若何完成复杂动作，如搬运物品或攀爬楼梯；Omniverse则摹拟分歧的使命场景，确保机械人在各类情况下具有顺应性；AGX终究将这些能力摆设到机械人中，使其可以或许在实际中自力完成使命。 ·在主动驾驶汽车中：DGX练习AI进修路况辨认、导航计划等驾驶能力；Omniverse则经由过程仿真交通情况，测试和优化AI的驾驶逻辑；AGX将优化后的驾驶模子摆设到车辆中，撑持汽车及时感知路况、计划路径和做出决议计划。固然 NVIDIA 的“三个年夜脑”（DGX、Omniverse 和 AGX）为物理 AI 的开辟供给了从模子练习、行动摹拟到实际摆设的完全手艺支持，但在现实开辟中，物理 AI 依然面对很多挑战。这些挑战不但对三年夜计较平台的能力提出了更高的要求，也凸显了物理世界与虚拟世界连系进程中的复杂性。具体来讲，物理 AI 的开辟难点首要表现在以下几个方面： ·数据获得的本钱和难度，即便有 DGX 壮大的练习能力，若何高效收集丰硕且多样的真实数据依然是一个亟待解决的问题。 ·行动摹拟固然能经由过程 Omniverse 实现，但摹拟的切确度、场景的复杂性和对真实世界的映照能力也决议了开辟的结果。摆设到实际情况中的风险和高本钱，虽然 AGX 供给了壮大的及时计较能力，但复杂场景下的硬件不变性和平安性仍然是庞大挑战。这些问题揭露了物理 AI 开辟不但仅依靠在东西的高机能，还需要从系统设计、数据优化到测试策略的多条理解决方案。以下是这些具体挑战的进一步阐发和应对策略。破解物理AI开辟的真实模子挑战——英伟达 Cosmos 虽然物理 AI 的成长潜力庞大，但它在开辟进程中面对着一系列怪异且复杂的挑战。从高本钱的数据收集到危险且昂贵的物理测试，再参加景多样性带来的顺应性问题，这些难点让物理 AI 的推动程序受限。传统的方式，不管是在真实情况中收集练习数据，仍是经由过程尝试验证模子机能，都不成避免地面对资本耗损年夜、风险高的问题。为领会决这些挑战，开辟者需要一个更高效、更经济的解决方案——一个可以或许生成传神虚拟世界数据的平台，从而削减对真实场景数据的依靠，同时加快模子开辟。这恰是NVIDIA Cosmos所要实现的方针。 Cosmos 平台的焦点在在其模块化设计，开辟者可以按照具体需求选择合适的功能模块。以下是 Cosmos 的要害构成部门：分散世界根本模子（Diffusion World Foundation Models）：Cosmos 的分散模子可以或许从文本、图象或视频中生成虚拟世界状况或动态视频。这些模子撑持“文本到世界”或“视频到世界”的转换，帮忙开辟者快速生成多样化的摹拟场景，从而显著削减对真实数据收集的依靠。自回归世界根本模子（Autoregressive World Foundation Models）：自回归模子以及时体例猜测视频片断，经由过程逐帧猜测 token 来生成低分辩率动态视频。它特殊合适需要及时生成场景或视频的使命，供给了壮大的前瞻能力。高级视频分词器（Advanced Video Tokenizers）：Cosmos 的视频分词器手艺可以或许实现比现有方式高8 倍的紧缩率和12 倍的机能晋升。这一冲破极年夜地优化了视频数据的存储和处置效力，使开辟者可以更高效地构建壮大的World Foundation 模子。视频策展与处置管道（Video Curation and Processing Pipeline）：基在 NVIDIA Nemo 框架，Cosmos 内置的视频处置管道专为 GPU 优化，可以或许快速处置数万万小时的视频数据。从解码、朋分到标注，全部进程只需几天，而传统方式可能需要数年。这对主动驾驶汽车和机械人公司尤其主要，帮忙它们将海量录制数据快速清算为练习数据。平安与定制能力：Cosmos 供给壮大的平安庇护机制（Guardrails），并撑持开辟者操纵本身的数据经由过程 NVIDIA Nemo 进行微和谐定制。开辟者既可以选择完全自立操作，也能够依托 NVIDIA DGX Cloud 供给的托管办事。 Cosmos 的壮大功能不但表现在手艺层面，更直接影响着开辟者在现实利用中的效力和功效。对机械人开辟者而言，Cosmos 生成的虚拟世界数据为机械人进修复杂使命供给了抱负情况，无需在真实场景中进行危险且昂贵的测试。经由过程这些数据，机械人可以优化物体抓取、路径计划和动态情况顺应能力。而在主动驾驶范畴，Cosmos 则成为开辟者建立极端和罕见场景的利器，例如应对野活泼物穿越道路或告急车辆的处置。操纵这些虚拟生成的数据，开辟者不但可以高效优化算法，还能显著下降获得边沿场景真实数据的时候和本钱。加快仿真，晋升机械人自立性：Isaac GR00T和Mega Omniverse Blueprint 但是Cosmos 并不是零丁运行，而是与 NVIDIA Omniverse 深度集成，Omniverse是开辟者用在构建3D物理情况、数字双胞胎和虚拟世界的操作系统，Cosmos和Omniverse为物理 AI 的开辟供给了一种虚拟到实际的高效工作流。在 Omniverse 中，开辟者可以构建复杂的 3D 工作流，而 Cosmos 则经由过程生成高度传神的多样化视频数据扩大这些场景，将其转化为年夜范围的练习数据集。这类协同感化不但闪开发者可以或许构建出物理一致性更高的世界根本模子，还能摹拟 AI 模子在多种将来场景中的表示，帮忙开辟者预判可能的成果并优化系统设计。在此次CES上，英伟达公布了两个全新的blueprint，别离是Isaac GR00T和Mega。【Isaac GR00T：加快机械人动作生成的合成数据革命】 Isaac GR00T 的焦点方针是经由过程生成合成数据，将少许的人工演示（tens of demonstrations）扩大为成百上千的合成动作数据（hundreds of synthetic motion generations），并终究转化为百万级此外练习数据（1 million X training data）。这一进程为机械人和物理 AI 的练习供给了高效、低本钱的数据来历。 GR00T 的工作流程由三个首要模块构成。起首，经由过程GR00T-Teleop，开辟者可以在Isaac Lab中收集人类演示数据，例如经由过程 VR 装备（例如Apple Vision Pro）录制长途节制的动作。这些数据为机械人动作生成供给了初始模板。接着，操纵GR00T-Mimic模块，系统经由过程虚拟仿真生成年夜量细化的合成动作数据，扩大数据的种类和多样性。最后，在GR00T-Gen中，这些合成数据颠末Omniverse 和 Cosmos的处置，转化为终究的高质量练习数据，直接用在机械人进修和优化。 Isaac GR00T 是一项针对通用机械人根本模子和数据管线的研究打算与开辟平台，旨在加快人形机械人手艺的成长。Isaac GR00T Blueprint的推出将极年夜增进为人形机械人开辟。人形机械人开辟进程中一个难点之一，就是若何搜集到普遍、高质量的数据，并用在机械人练习。经由过程用在合成活动生成的 Isaac GR00T Blueprint，开辟者只需少许人类示范，就可以轻松生成海量的合成数据集。这些数据集为机械人的练习供给了丰硕且优良的素材，从而有助在更高效地完成开辟使命，加快人形机械人迈向现实利用的程序。【 Mega：工业数字孪生中的机械人车队仿真蓝图】 GR00T的定位是加快人形机械人的动作数据捕获，而另外一个新发布的blueprint——Mega则是专为机械人车队的开辟、测试和优化供给壮大的东西撑持。不管是在仓储物流仍是工业制造场景中，Mega 都能经由过程高精度的仿真情况，显著晋升机械人协作的效力与平安性。 Mega 操纵 Omniverse 的壮大能力，帮忙开辟者在虚拟情况中实现对机械人车队的周全仿真。经由过程集成工业数字孪生手艺，Mega 可以将真实工场或仓库的 CAD 数据或 2D 转 3D 数据导入仿真情况，生成高度还原的虚拟世界。这使开辟者可以或许在与真实场景一致的情况中测试机械人车队的使命分派、路径计划和协作效力。另外，Mega 撑持完全的机械人传感器仿真，包罗摄像头、激光雷达（LiDAR）和物理传感器，生成高质量的感知数据供机械人利用。同时，Mega 还可以领受来自车队治理系统的节制旌旗灯号，并及时反馈机械人模子的行动表示，构成完全的闭环仿真和优化。 Mega 在仓储物流和工业制造范畴揭示了普遍的利用价值。在仓储场景中，Mega 可以或许摹拟机械人车队在仓库中的操作，经由过程优化使命分派和路径计划，年夜幅提高物流效力并下降运营本钱。在工业制造中，Mega 可用在测试机械人协作的平安性，确保主动化装备在复杂情况中可以或许避免碰撞并不变运行。另外，Mega 还为机械人 AI 模子供给高质量的仿真数据，助力开辟者练习和优化机械人算法。 Cosmos+Omniverse深度协作，奠基物理AI开辟完全根本框架经由过程CES上最新发布的NVIDIA Cosmos，再连系Omniverse 平台拓展，二者深度协作为开辟者供给了一套完全的东西链，将生成式 AI 数据的壮大能力与物理仿真的切确性连系起来，构建从虚拟世界到实际利用的闭环。 Cosmos 饰演着数据生成引擎的脚色，Omniverse 供给场景的动态仿真和切确物理建模。Cosmos 操纵这些场景生成与现实利用高度相干的合成数据，特别是在复杂的边沿场景和罕见事务的摹拟中。例如，在仓储物流的机械人协作场景中，Cosmos 可以快速生成物理一致性的数据，用在练习 AI 模子顺应多机械人协作的动态转变。二者之间的连系还撑持多元宇宙摹拟，经由过程生成多个将来可能性场景，开辟者可以在 Omniverse 的虚拟情况中摸索分歧的策略或系统行动，并基在这些成果优化终究方案。这类能力不但提高了模子的靠得住性，还为开辟者供给了更广漠的设计空间。同时，Cosmos 的视频搜刮与理解功能进一步加强了 Omniverse 的场景仿真能力。开辟者可以操纵 Cosmos 快速从视频数据中提取要害信息，并直接将其转化为 Omniverse 的虚拟场景，从而实现快速迭代。不管是用在工业主动化的机械人使命计划，仍是主动驾驶的边沿场景测试，这类高效整合都为开辟者带来了显著的时候和资本节俭。当下，物理 AI (Physical AI) 的成长仍处在初期阶段，很多焦点手艺尚在摸索和完美当中。若何冲破高本钱的数据收集、复杂的场景摹拟和模子验证的瓶颈，成为鞭策物理 AI 从概念走向实际的要害。NVIDIA 的 Cosmos 与 Omniverse 为物理 AI 的成长供给了一个完全且壮大的根本框架，为机械人和主动驾驶等范畴的冲破性利用供给了坚实的手艺根本，加快了物理 AI 从研究到利用的转化历程。