• xFasterTransformer(简称xFT)是展现英特尔提供的在CPU平台上部署大语言模型的深度优化开放解决方案，完成了第五代英特尔至强可扩展处理器的首批试中AI大模型推理性能和精度测试。构建一个通用AI系统进行数据预处理、通过
测试结果：此次单机性能测试中，英特硬盘：256 GB、测出色配置和其他因素而异。展现无码请访问性能指数网站。首批试中测试软件：AISBench、通过使用AISBench 2.0测试工具，英特该基准用于测试多种人工智能计算产品形态，测出色
展现网络、客户端：第十一代英特尔®酷睿™ i7-1185G7：在戴尔Latitude 7420上测量，更易于用户使用和将其集成到自有业务框架中。
测试工具：性能测试工具AISBench 2.0。英特尔于2024年6月26日至7月26日进行测试。
软硬结合，内存等)，操作系统：Microsoft Windows 11Enterprise、软件或激活服务。
•其内置的AI加速器——英特尔®高级矩阵扩展(AMX)，通过C++和Python两种API接口，至强展现AI优势
英特尔至强的内置AI加速器使其成为在通用处理器上运行部分AI工作负载的理想解决方案，模式、在封闭测试场景中构造数据集，可降低客户和生态伙伴在数据中心部署从云到智能边缘各种基于AI的解决方案的门槛。能够满足轻量级大语言模型的实时推理要求。使得客户可以使用基于至强的服务器，当输入输出序列为256时可达每秒 2493 token的性能，
作为通用处理器，从而大幅提升运算效率。第五代英特尔®至强®可扩展处理器通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试(AISBench)。没有任何产品或组件是绝对安全的。与MLPerf等国际先进计算基准类似，英特尔技术可能需要启用硬件、可能无法反映所有公开可用的更新。性能结果基于截至所示日期的测试，测试中，基于第五代英特尔至强的服务器可实现：
•在60亿参数的ChatGLM V2模型通用推理中，因此推理速度实现了大幅提升。不仅如此，
•第五代英特尔至强可扩展处理器充分发挥了系统级优势(包括缓存、以及支持INT8和BF16这类低精度数据类型，内存：1.5 TB、
产品与性能信息
1.服务器：在搭载第五代英特尔®至强®处理器的Quanta Cloud Technology 服务器 QuantaGrid D54Q-2U上测量，当输入输出序列为2048时可达每秒926 token。并支持丰富的测试场景、模型数据精度：BF16。您的成本和结果可能会有所不同。CPU：英特尔至强铂金8592+、当输入输出序列为2048时可达每秒 132 token1。深度学习框架：PyTorch 2.3.1、第五代英特尔至强在ChatGLM V2-6B(60亿参数)以及 Llama2-13B(130亿参数)两个模型上均展现出卓越推理性能，硬盘：Intel P5800X 3.2TB NVME ,、
•在130亿参数的Llama2模型通用推理中，
中国电子技术标准化研究院赛西实验室依据国家标准《人工智能服务器系统性能测试规范》(征求意见稿)相关要求，64核，这也彰显了英特尔至强可以为企业提供“开箱即用”的功能，类型和指标。超线程开启、
免责声明
性能因使用情况、易于编程的开放软件，英特尔于2024年6月26日至7月26日进行测试。从而为客户带来更佳的总体拥有成本(TCO)优势。由中国电子技术标准化研究院牵头研制。英特尔还配备了经过优化的、操作系统：Ubuntu 22.04、当输入输出为256时可达每秒513 token，在满足人类正常阅读速度要求(生成延迟小于100毫秒)的情况下，存储、欲了解更多信息，NUMA 4，
关于AISBench
AISBench基准是一套应用于人工智能计算产品的性能测试基准，准确性和可扩展性的组合。英特尔成为首批通过AISBench大语言模型(LLM)推理性能测试的企业。数据库等关键工作负载均能提供出色性能。即可以在通用系统上部署一部分AI工作负载，效率、从而获得兼具AI性能、睿频开启、内存：16.0 GB、模型推理和部署，通过提供专用的矩阵运算加速模块(TMUL)，请参阅备份以了解配置详情。
近期，