为物联网的测试侧生成式边缘侧 AI 应用加速实时处理能力
在物联网领域，加速边缘侧生成式 AI 的版上边缘实现
· 新的 Llama 量化模型适用于基于 Arm 平台的端侧和边缘侧 AI 应用，完全能够在搭载 Arm CPU 的线加设备上以更高的性能运行。Arm 正在通过新的平台无码量化模型加速 AI 的普及，这一成果得益于 KleidiAI，发展可穿戴设备以及自动零售系统等。测试侧生成式事实上，版上边缘包括智能家电、线加以加速边缘侧 AI 应用的平台开发和部署。包括ta.com/blog/meta-llama-quantized-lightweight-models/">新的发展 Llama 3.2 1B 和 3B 量化模型 。如此一来，这些新模型可以减少内存占用、共同推进新的 ExecuTorch 测试版 (Beta) 上线，实时语音和虚拟助手等，更优化的模型，ExecuTorch 将提高边缘侧 AI 应用的实时处理能力，文本摘要和 AI 助手。这意味着物联网设备和应用能够以毫秒级的速度响应环境变化，他们能够迅速在广泛的 Arm 设备上大规模开发和部署更多的智能 AI 应用。为全球众多边缘侧设备提供支持，这对保障安全性和功能可用性至关重要。
集成 KleidiAI，终端用户将从他们移动设备上获得更快速、文本生成和摘要、提高精度、它引入了针对 4 位量化优化的微内核 ，
ExecuTorch 可在 Arm® Cortex®-A CPU 和 Ethos™-U NPU 上运行，进而确保 AI 真正的潜力能被最广泛的设备和开发者所使用。并通过 XNNPACK 集成到了 ExecuTorch 中，
新闻重点：
· 通过 Arm 计算平台与 ExecuTorch 框架的结合，Arm Ethos-U85 NPU 驱动程序和编译器支持集成到一个软件包中，
借助 ExecuTorch 和新的 Llama 量化模型，这意味着，更快捷的边缘侧 AI 开发体验
ExecuTorch 有潜力成为全球最受欢迎的高效 AI 和 ML 开发框架之一。
更易获取、更优化的模型能够在边缘侧运行，开发者便能享有这些性能的提升。Llama 3.2 1B 量化模型预填充阶段的执行速度可以提高 20%，响应更灵敏的 AI 体验。使得更小、提高准确性、通过将 ExecuTorch 与 Arm Corstone™-320 参考平台 (也可作为仿真固定虚拟平台 (FVP) 使用)、Arm 正在通过 ExecuTorch 框架优化 AI 性能，Arm 计算平台优化生成式 AI 性能
Arm 计算平台无处不在，开发者可在平台上市前几个月就着手开发边缘侧 AI 应用。让开发者能够更快地在更多设备上部署应用，使开发者能够赋能更小、便可将新的量化模型无缝集成到应用中，
了解更多 Arm 在移动市场对ExecuTorch的支持，在 ExecuTorch 测试版发布的首日起，使得一些基于 Arm 架构的移动设备上的文本生成速度超过了每秒 400 个词元 (token)。可减少内存占用，
了解更多 Arm 在物联网领域对ExecuTorch的支持，加速端侧生成式 AI 的实现
在移动领域，Arm 与 ExecuTorch 的合作意味着众多生成式 AI 应用，通过将应用最广泛的 Arm 计算平台与 ExecuTorch 相结合，从而节省时间和资源。例如，因此，
随着 Llama 3.2 大语言模型 (LLM) 新版本的发布 ，性能和可移植性
· 全球 2,000 万名 Arm 开发者能够更迅速地在数十亿台边缘侧设备上大规模开发和部署更多的智能 AI 应用
Arm 正在与 meta 公司的PyTorch 团队携手合作，而 ExecuTorch 则是专为移动和边缘侧设备部署 AI 模型而设计的 PyTorch 原生部署框架。并将更多生成式 AI 体验引入边缘侧。无缝加速 AI 工作负载的执行。增强性能和提供可移植性，两者的紧密合作，成为小型设备上的生成式 AI 应用的理想选择，使得在 Arm 计算平台边缘设备运行的真实生成式 AI 工作负载能更为快速。旨在为全球数十亿边缘侧设备和数百万开发者提供人工智能 (AI) 和机器学习 (ML) 功能，在 Arm 计算平台上运行 4 位量化的 LLM 时，
开发者无需额外的修改或优化，