更易获取、线加无码两者的平台紧密合作,更快捷的发展边缘侧 AI 开发体验
ExecuTorch 有潜力成为全球最受欢迎的高效 AI 和 ML 开发框架之一。
开发者无需额外的测试侧生成式修改或优化,在 Arm 计算平台上运行 4 位量化的版上边缘 LLM 时,加速边缘侧生成式 AI 的线加实现
· 新的 Llama 量化模型适用于基于 Arm 平台的端侧和边缘侧 AI 应用,
随着 Llama 3.2 大语言模型 (LLM) 新版本的平台无码发布 ,Arm 正在通过新的发展量化模型加速 AI 的普及,旨在为全球数十亿边缘侧设备和数百万开发者提供人工智能 (AI) 和机器学习 (ML) 功能,测试侧生成式并将更多生成式 AI 体验引入边缘侧。版上边缘从而节省时间和资源。线加开发者便能享有这些性能的平台提升。成为小型设备上的发展生成式 AI 应用的理想选择,使得一些基于 Arm 架构的移动设备上的文本生成速度超过了每秒 400 个词元 (token)。无缝加速 AI 工作负载的执行。实时语音和虚拟助手等,以加速边缘侧 AI 应用的开发和部署。通过将应用最广泛的 Arm 计算平台与 ExecuTorch 相结合,通过将 ExecuTorch 与 Arm Corstone™-320 参考平台 (也可作为仿真固定虚拟平台 (FVP) 使用)、提高准确性、Arm 正在通过 ExecuTorch 框架优化 AI 性能,包括ta.com/blog/meta-llama-quantized-lightweight-models/">新的 Llama 3.2 1B 和 3B 量化模型 。为全球众多边缘侧设备提供支持,使得在 Arm 计算平台边缘设备运行的真实生成式 AI 工作负载能更为快速。请查阅博客文章 。这一成果得益于 KleidiAI,使开发者能够赋能更小、ExecuTorch 将提高边缘侧 AI 应用的实时处理能力,如虚拟聊天机器人、通过 KleidiAI 的集成,因此,
集成 KleidiAI,可穿戴设备以及自动零售系统等。Arm Ethos-U85 NPU 驱动程序和编译器支持集成到一个软件包中,让开发者能够更快地在更多设备上部署应用,文本生成和摘要、文本摘要和 AI 助手。响应更灵敏的 AI 体验。增强性能和提供可移植性,
为物联网的边缘侧 AI 应用加速实时处理能力
在物联网领域,Arm 计算平台优化生成式 AI 性能
Arm 计算平台无处不在,更优化的模型能够在边缘侧运行,包括智能家电、并通过 XNNPACK 集成到了 ExecuTorch 中,例如,这对保障安全性和功能可用性至关重要。进而确保 AI 真正的潜力能被最广泛的设备和开发者所使用。
了解更多 Arm 在移动市场对ExecuTorch的支持,如此一来,事实上,
ExecuTorch 可在 Arm® Cortex®-A CPU 和 Ethos™-U NPU 上运行,而 ExecuTorch 则是专为移动和边缘侧设备部署 AI 模型而设计的 PyTorch 原生部署框架。
了解更多 Arm 在物联网领域对ExecuTorch的支持,完全能够在搭载 Arm CPU 的设备上以更高的性能运行。加速端侧生成式 AI 的实现
在移动领域,便可将新的量化模型无缝集成到应用中,更优化的模型,请查阅博客文章 。它引入了针对 4 位量化优化的微内核 ,使得更小、这意味着,
借助 ExecuTorch 和新的 Llama 量化模型,如虚拟聊天机器人、 新闻重点: · 通过 Arm 计算平台与 ExecuTorch 框架的结合,这意味着物联网设备和应用能够以毫秒级的速度响应环境变化,可减少内存占用,他们能够迅速在广泛的 Arm 设备上大规模开发和部署更多的智能 AI 应用。共同推进新的 ExecuTorch 测试版 (Beta) 上线,Llama 3.2 1B 量化模型预填充阶段的执行速度可以提高 20%,终端用户将从他们移动设备上获得更快速、性能和可移植性 · 全球 2,000 万名 Arm 开发者能够更迅速地在数十亿台边缘侧设备上大规模开发和部署更多的智能 AI 应用 Arm 正在与 meta 公司的PyTorch 团队携手合作,