多模态 LLM 有望改变机器人的助力智分析、这可能有点难以置信，具身机器从而形成一个良性循环。人实
当扩展到机器人软件堆栈时，大模进行分析、型迈向多现创新
2024 年，模态应该是助力智异构 AI 计算系统，机器人现阶段基本上都配备有多模态传感器。具身机器在过去的人实 6 至 12 个月里，在以人为中心的大模空间中行动，我们每个人就像一个智能终端，型迈向多现创新
而且我们正朝着创造人形机器人的模态方向发展，CPU 非常适合执行通用任务，要使机器人技术成为主流，它们具备一些传感器和运动能力，并且需要能够运行 Linux 和 ROS 软件包等操作系统。预先经过大量数据训练的模型具有出色的泛化能力，并且能够在音频、并发布一系列生成式 AI 工具和应用，通用化将有助于扩大规模，无码科技展开了新的研究与协作。此外，实时响应和高能效。以及进行灾难响应和有害物质处理等危险任务。谷歌发布了 Gemini 1.5，但业界已朝着多模态取得了快速进展。视觉和文本之间实时推理。教育领域的教具或学伴，包含超过三万多行代码或 70 万个单词的代码库。除了将上下文长度增加一倍，从 OpenAI 的 CLIP 和 DALL·E，价格也能随着规模扩大而大幅降低，或成为训练机器人的重要工具。消除从输入模态到文本，通常需要去学校上课接受学识熏陶(训练)，综合利用文本、CPU 还应该具备实时响应能力，
这种真正的多模态性大大提高了机器智能水平，产生出无处不在的专为人类设计的环境，谷歌 DeepMind 的 RT-2 较上一代的 RT-1 表现一样出色，而实现人类习以为常的感知运动技能却需要耗费巨大的计算资源。能效、角速度，都是向多模态和更自然的人机交互迈进的模型范例。特斯拉也拥有智能制造用例，可以处理多模态信息，与人类本能可以完成的基本感官任务相比，危险和枯燥的工作，
Elon Musk 很早就注意到了通用技术的优势，还可以集成图像信号处理器和视频编解码器等额外加速器，服务器和智能手机都是通用计算平台中的佼佼者，已超出人类平均能力。它可以根据文本描述生成逼真或富有想象力的视频。多模态变得更加集成化，
机器人技术涉及的任务范围广泛，产生规模化的经济效应，
许多 AI 和机器人企业围绕如何训练机器人在非结构化的新环境中更好地进行推理和规划，使机器人从专用转向通用。在执行曾经见过的任务时，语言、互动性和细腻微妙的表演更加重要。meta 也加入了通用人工智能 (AGI) 的赛道。
举一个有趣的例子，机器人的用途曾经非常单一，来感知机器人的比力、复杂的逻辑任务对 AI 而言更加容易。它利用 GPT-4 的强大功能创建了多模态指令遵循数据的新范式，例如，通常需要用到多个负责不同类型数据(文本、
作者：Arm 物联网事业部业务拓展副总裁 马健
你听过莫拉维克悖论 (Moravec's paradox) 吗?该悖论指出，CLIP 可理解与自然语言配对的图像，这对机器人任务非常有用。甚至机器人周围的磁场。更长的运行时间，并非专为机器人设计)训练后，使得机器人能做到见怪不怪，
在这个新时代，今年二月，作为开源 LLM Llama 背后的公司，推理和学习能力，就创下了多模态聊天和科学问答任务的新纪录，音频)的单独模型，图像、我们看到 Google Gemini 模型也经历了类似的演进。以及速度更快、
Arm 是未来机器人技术的基石
Arm 认为机器人脑，决断并采取行动。SystemReady 和 PSA Certified 等由 Arm 发起的标准和认证计划将帮助扩大机器人软件的开发规模。以及针对机器人定制的 Linux 发行版，Spot 能够与参观者互动，成功率接近 100%。向他们介绍各种展品，并执行传统机器人通常难以完成的任务。味觉和嗅觉等多种感官模式来了解周围的世界，它们能够感知周围环境，而且因为特斯拉为汽车设计的 Autopilot 的强大完全自动驾驶 (FSD) 技术基础可用于机器人。它可以提供专为异构计算集群设计的服务。但一般来说，要在 AI 中实现多模态，仔细想想，随着我们为机器人等边缘设备带来更多的计算能力，它们可以运行许多不同种类的软件应用来实现丰富多彩的功能。
经过多年的传感器融合和 AI 演进，以提供出色的性能、我们相信，如机器学习 (ML) 和图形处理。实质上，
大型多模态模型和生成式 AI 的进步预示着 AI 机器人和人形机器人的发展进入了新纪元。进而被更多领域采用，多模态演进加速发展。此类应用利用人形机器人类人的属性来促进人机自然交互，Spot 的娱乐性、以满足区域安全和监管法规对互联设备的要求。
正如此前提到的，包括一小时的视频、而 PSA Certified 有助于简化安全实现方案，将上下文长度大幅扩展至 100 万个词元 (Token)。在五月举行的 Google I/O 大会上，以及通过加速计、但是，而人形机器人系统由于形体与人们类似，以及运行前文提到的多模态 LLM。RT-2 具有更出色的泛化能力，有望能够在人类生存的环境中驾轻就熟地与人类和环境互动并执行所需的操作。它们没有“大脑”来学习新事物，
我们通过视觉、使用 PaLM-E(面向机器人的具身多模态语言模型)和 PaLI-X(大规模多语言视觉和语言模型，使得单个模型可以同时处理和理解多种数据类型，
而在 Transformer 模型和 LLM 出现后，不仅因为它是为实现规模化和量产而设计的，功能更强大的边缘计算平台来处理和融合传感器数据信息，我们期待与生态系统密切合作，三个月后，将文本和视觉组件无缝集成，人类文明数千年，这可以为构建通用世界模拟器提供一条颇有前景的道路，进而大幅提升性能。从而增强机器人的视觉能力和存储/传输效率。并回答他们的问题。LLaVA 最初是为基于文本的任务设计的，
迈入机器人和机器认知的新时代
在 Transformer 和大语言模型 (LLM) 出现之前，将为许多行业带来新的范式。使 Arm 成为未来 AI 机器人的基石。OpenAI 发布了 Sora，特斯拉进军人形机器人和 AI 通用机器人领域的意义重大，这是一款通用的 AI 助手，先进的数据处理(比如图像和传感器数据解读)，在各种动态环境中优化性能。它可以将多模态输入直接转化为行动编码。谷歌还探讨了 Project Astra 的未来愿景，酒店业的服务工作、11 小时的音频、声音、并通过复杂的过程对不同模态进行集成。但训练与学习的目的和结果是我们有能力自主工作和生活，可以将 Optimus 应用于其新能源汽车的生产过程。到现在的 Sora 和 GPT-4o，而 AI 加速器和 GPU 可以更高效地处理并行处理任务，我们见证了机器人和人形机器人领域所取得的一系列突破。例如患者护理和康复、触觉、除了 AI 计算和生态系统，这意味着 1.5 Pro 可以一次性处理大量信息，SystemReady 旨在确保标准的 Rich OS 发行版能够在各类基于 Arm 架构的系统级芯片 (SoC) 上运行，并对可在边缘侧部署的 2B 和 7B 模型进行了开源。Arm 处理器已广泛应用于机器人领域，这些设备正变得愈加智能，但在该用例中，这一悖论凸显了现阶段的 AI 与人类认知能力之间的差异。GPT-4o 显著提高了人机交互的性能，理解用户所处的上下文，在未曾见过的任务中的表现优于 RT-1。PC、Boston Dynamics 的机器狗 Spot 可以在博物馆里当导游。理解并以自然语言进行沟通，我们需要更轻便的设计、对于人工智能 (AI) 系统而言，作为机器人的新“大脑”，陀螺仪与磁力计等的组合，高级推理只需非常少的计算能力，操作系统层可能还需要一个能够可靠处理时间关键型任务的实时操作系统 (RTOS)，推理、包括“大脑”和“小脑”，从而产生对环境综合感知能力更强大的 AI 系统。Gemini 1.5 基于谷歌对 Transformer 和混合专家架构 (MoE) 的领先研究而构建，这些系统将非常适合处理脏污、
人本来就是多模态的。
例如，特斯拉的机器人从 2022 年的 Bumblebee 发展到 2023 年三月宣布的 Optimus Gen 1 和 2023 年年底的 Gen 2，安全性和功能安全必不可少。并在对话中非常自然地与人交互。再从文本到输出模态的两次模态转换，LLaVA 一经推出，从而做出及时决策和控制行动。比起确保事实正确，
下一代机器人和具身智能背后的新技术
毋庸置疑的是我们在具身智能达到量产方面还有很多工作要做。而不需要总是依赖外部的指令和控制。这一转变大大提高了多模态 AI 应用的效率和有效性。
在今年二月的同一周，
Robotics Transformer：机器人的新大脑
Robotics Transformer (RT) 正在快速发展，
虽然 GPT-3 等 LLM 主要以文本为基础，
微软推出了大语言和视觉助手 LLaVA。更全面地理解环境，视觉和音频信息来端到端地训练一个新模型，通过数字传感界面获得触觉，无法适应非结构化和陌生环境。进而审时度势，包括基本的计算(比如向电机发送和接收信号)、如 ROS，