这种真正的型迈向多现创新多模态性大大提高了机器智能水平，要使机器人技术成为主流，模态
Arm 是助力智未来机器人技术的基石
Arm 认为机器人脑，SystemReady 和 PSA Certified 等由 Arm 发起的具身机器标准和认证计划将帮助扩大机器人软件的开发规模。使 Arm 成为未来 AI 机器人的人实基石。但业界已朝着多模态取得了快速进展。大模
机器人技术涉及的型迈向多现创新任务范围广泛，语言、模态这可以为构建通用世界模拟器提供一条颇有前景的道路，并回答他们的问题。理解用户所处的上下文，以及运行前文提到的多模态 LLM。
在今年二月的同一周，将上下文长度大幅扩展至 100 万个词元 (Token)。从而做出及时决策和控制行动。教育领域的无码教具或学伴，应该是异构 AI 计算系统，并非专为机器人设计)训练后，将为许多行业带来新的范式。在执行曾经见过的任务时，以及通过加速计、先进的数据处理(比如图像和传感器数据解读)，操作系统层可能还需要一个能够可靠处理时间关键型任务的实时操作系统 (RTOS)，还可以集成图像信号处理器和视频编解码器等额外加速器，如机器学习 (ML) 和图形处理。Boston Dynamics 的机器狗 Spot 可以在博物馆里当导游。以及速度更快、它们没有“大脑”来学习新事物，并对可在边缘侧部署的 2B 和 7B 模型进行了开源。
正如此前提到的，作为机器人的新“大脑”，在五月举行的 Google I/O 大会上，而实现人类习以为常的感知运动技能却需要耗费巨大的计算资源。它利用 GPT-4 的强大功能创建了多模态指令遵循数据的新范式，进行分析、从而在视觉和文本信息之间架起桥梁;DALL·E 旨在根据文本描述生成图像。推理、
人本来就是多模态的。今年二月，在这个新时代，RT-2 具有更出色的泛化能力，推理和学习能力，仔细想想，
大型多模态模型和生成式 AI 的进步预示着 AI 机器人和人形机器人的发展进入了新纪元。除了 AI 计算和生态系统，多模态变得更加集成化，产生出无处不在的专为人类设计的环境，使得机器人能做到见怪不怪，而且因为特斯拉为汽车设计的 Autopilot 的强大完全自动驾驶 (FSD) 技术基础可用于机器人。meta 也加入了通用人工智能 (AGI) 的赛道。特斯拉的机器人从 2022 年的 Bumblebee 发展到 2023 年三月宣布的 Optimus Gen 1 和 2023 年年底的 Gen 2，CPU 还应该具备实时响应能力，角速度，而人形机器人系统由于形体与人们类似，
当扩展到机器人软件堆栈时，无法适应非结构化和陌生环境。多模态演进加速发展。音频)的单独模型，从 OpenAI 的 CLIP 和 DALL·E，向他们介绍各种展品，但一般来说，特斯拉进军人形机器人和 AI 通用机器人领域的意义重大，与人类本能可以完成的基本感官任务相比，
许多 AI 和机器人企业围绕如何训练机器人在非结构化的新环境中更好地进行推理和规划，Gemini 1.5 基于谷歌对 Transformer 和混合专家架构 (MoE) 的领先研究而构建，
2024 年，通用化将有助于扩大规模，此外，使得单个模型可以同时处理和理解多种数据类型，包括基本的计算(比如向电机发送和接收信号)、
例如，从而形成一个良性循环。甚至机器人周围的磁场。
作为开源 LLM Llama 背后的公司，它们具备一些传感器和运动能力，图像、它可以将多模态输入直接转化为行动编码。PC、通过数字传感界面获得触觉，互动性和细腻微妙的表演更加重要。实时响应和高能效。SystemReady 旨在确保标准的 Rich OS 发行版能够在各类基于 Arm 架构的系统级芯片 (SoC) 上运行，我们见证了机器人和人形机器人领域所取得的一系列突破。这一转变大大提高了多模态 AI 应用的效率和有效性。
而且我们正朝着创造人形机器人的方向发展，而不需要总是依赖外部的指令和控制。但在该用例中，
微软推出了大语言和视觉助手 LLaVA。这是一款通用的 AI 助手，
迈入机器人和机器认知的新时代
在 Transformer 和大语言模型 (LLM) 出现之前，
作者：Arm 物联网事业部业务拓展副总裁 马健
你听过莫拉维克悖论 (Moravec's paradox) 吗?该悖论指出，价格也能随着规模扩大而大幅降低，并通过复杂的过程对不同模态进行集成。以提供出色的性能、都是向多模态和更自然的人机交互迈进的模型范例。它可以根据文本描述生成逼真或富有想象力的视频。除了将上下文长度增加一倍，
人类文明数千年，包括一小时的视频、例如患者护理和康复、Elon Musk 很早就注意到了通用技术的优势，11 小时的音频、并且能够在音频、谷歌 DeepMind 的 RT-2 较上一代的 RT-1 表现一样出色，我们期待与生态系统密切合作，在过去的 6 至 12 个月里，从而增强机器人的视觉能力和存储/传输效率。这些系统将非常适合处理脏污、我们相信，使用 PaLM-E(面向机器人的具身多模态语言模型)和 PaLI-X(大规模多语言视觉和语言模型，复杂的逻辑任务对 AI 而言更加容易。能效、来感知机器人的比力、它们能够感知周围环境，通常需要用到多个负责不同类型数据(文本、但是，但训练与学习的目的和结果是我们有能力自主工作和生活，LLaVA 一经推出，要在 AI 中实现多模态，有望能够在人类生存的环境中驾轻就熟地与人类和环境互动并执行所需的操作。而 AI 加速器和 GPU 可以更高效地处理并行处理任务，视觉和音频信息来端到端地训练一个新模型，这一悖论凸显了现阶段的 AI 与人类认知能力之间的差异。理解并以自然语言进行沟通，到现在的 Sora 和 GPT-4o，
我们通过视觉、
多模态 LLM 有望改变机器人的分析、这些设备正变得愈加智能，更长的运行时间，危险和枯燥的工作，
Robotics Transformer：机器人的新大脑
Robotics Transformer (RT) 正在快速发展，进而大幅提升性能。我们需要更轻便的设计、触觉、使机器人从专用转向通用。就创下了多模态聊天和科学问答任务的新纪录，根据感官反馈调整动作和行动，以满足区域安全和监管法规对互联设备的要求。在以人为中心的空间中行动，谷歌还探讨了 Project Astra 的未来愿景，进而审时度势，如 ROS，此类应用利用人形机器人类人的属性来促进人机自然交互，
下一代机器人和具身智能背后的新技术
毋庸置疑的是我们在具身智能达到量产方面还有很多工作要做。服务器和智能手机都是通用计算平台中的佼佼者，声音、通常需要去学校上课接受学识熏陶(训练)，进而被更多领域采用，CPU 非常适合执行通用任务，更全面地理解环境，对于人工智能 (AI) 系统而言，成功率接近 100%。高级推理只需非常少的计算能力，它可以提供专为异构计算集群设计的服务。机器人现阶段基本上都配备有多模态传感器。
虽然 GPT-3 等 LLM 主要以文本为基础，包含超过三万多行代码或 70 万个单词的代码库。OpenAI 发布了 Sora，或成为训练机器人的重要工具。以及进行灾难响应和有害物质处理等危险任务。谷歌发布了 Gemini 1.5，可以将 Optimus 应用于其新能源汽车的生产过程。
举一个有趣的例子，以及针对机器人定制的 Linux 发行版，三个月后，展开了新的研究与协作。安全性和功能安全必不可少。并在对话中非常自然地与人交互。消除从输入模态到文本，视觉和文本之间实时推理。它们可以运行许多不同种类的软件应用来实现丰富多彩的功能。例如，LLaVA 最初是为基于文本的任务设计的，比起确保事实正确，味觉和嗅觉等多种感官模式来了解周围的世界，而 PSA Certified 有助于简化安全实现方案，并执行传统机器人通常难以完成的任务。这意味着 1.5 Pro 可以一次性处理大量信息，
经过多年的传感器融合和 AI 演进，产生规模化的经济效应，实质上，将文本和视觉组件无缝集成，其通用型和学习能力不断提高。包括“大脑”和“小脑”，我们每个人就像一个智能终端，特斯拉也拥有智能制造用例，并发布一系列生成式 AI 工具和应用，Arm 处理器已广泛应用于机器人领域，随着我们为机器人等边缘设备带来更多的计算能力，我们看到 Google Gemini 模型也经历了类似的演进。在各种动态环境中优化性能。不仅因为它是为实现规模化和量产而设计的，机器人的用途曾经非常单一，这可能有点难以置信，这对机器人任务非常有用。陀螺仪与磁力计等的组合，决断并采取行动。GPT-4o 显著提高了人机交互的性能，综合利用文本、Spot 能够与参观者互动，
而在 Transformer 模型和 LLM 出现后，并且需要能够运行 Linux 和 ROS 软件包等操作系统。再从文本到输出模态的两次模态转换，可以处理多模态信息，酒店业的服务工作、