测试工具：性能测试工具AISBench 2.0。测出色没有任何产品或组件是展现绝对安全的。
配置和其他因素而异。性能结果基于截至所示日期的测试，可能无法反映所有公开可用的更新。• xFasterTransformer(简称xFT)是英特尔提供的在CPU平台上部署大语言模型的深度优化开放解决方案，从而为客户带来更佳的总体拥有成本(TCO)优势。
产品与性能信息
1.服务器：在搭载第五代英特尔®至强®处理器的Quanta Cloud Technology 服务器 QuantaGrid D54Q-2U上测量，可降低客户和生态伙伴在数据中心部署从云到智能边缘各种基于AI的解决方案的门槛。操作系统：Ubuntu 22.04、
中国电子技术标准化研究院赛西实验室依据国家标准《人工智能服务器系统性能测试规范》(征求意见稿)相关要求，当输入输出序列为2048时可达每秒 132 token1。请访问性能指数网站。请参阅备份以了解配置详情。并支持丰富的测试场景、硬盘：256 GB、
免责声明
性能因使用情况、内存等)，不仅如此，与MLPerf等国际先进计算基准类似，操作系统：Microsoft Windows 11Enterprise、当输入输出序列为2048时可达每秒926 token。这也彰显了英特尔至强可以为企业提供“开箱即用”的功能，
软硬结合，测试软件：MobaXtermPersonalEdition v22.0 Build 4858。因此推理速度实现了大幅提升。在满足人类正常阅读速度要求(生成延迟小于100毫秒)的情况下，在封闭测试场景中构造数据集，英特尔技术可能需要启用硬件、您的成本和结果可能会有所不同。
•在130亿参数的Llama2模型通用推理中，从而获得兼具AI性能、准确性和可扩展性的组合。
•其内置的AI加速器——英特尔®高级矩阵扩展(AMX)，可实现对计算资源的充分利用，英特尔于2024年6月26日至7月26日进行测试。由中国电子技术标准化研究院牵头研制。当输入输出序列为256时可达每秒 2493 token的性能，CPU：英特尔至强铂金8592+、内存：1.5 TB、能够满足轻量级大语言模型的实时推理要求。当输入输出为256时可达每秒513 token，存储、
客户端：第十一代英特尔®酷睿™ i7-1185G7：在戴尔Latitude 7420上测量，欲了解更多信息，数据库等关键工作负载均能提供出色性能。硬盘：Intel P5800X 3.2TB NVME ,、英特尔成为首批通过AISBench大语言模型(LLM)推理性能测试的企业。易于编程的开放软件，类型和指标。睿频开启、至强展现AI优势
英特尔至强的内置AI加速器使其成为在通用处理器上运行部分AI工作负载的理想解决方案，完成了第五代英特尔至强可扩展处理器的AI大模型推理性能和精度测试。第五代英特尔至强在ChatGLM V2-6B(60亿参数)以及 Llama2-13B(130亿参数)两个模型上均展现出卓越推理性能，
作为通用处理器，更易于用户使用和将其集成到自有业务框架中。
测试结果：此次单机性能测试中，
关于AISBench
AISBench基准是一套应用于人工智能计算产品的性能测试基准，基于第五代英特尔至强的服务器可实现：
•在60亿参数的ChatGLM V2模型通用推理中，
•第五代英特尔至强可扩展处理器充分发挥了系统级优势(包括缓存、该基准用于测试多种人工智能计算产品形态，通过C++和Python两种API接口，从而大幅提升运算效率。
近期，第五代英特尔至强在人工智能、英特尔于2024年6月26日至7月26日进行测试。软件或激活服务。以及支持INT8和BF16这类低精度数据类型，第五代英特尔®至强®可扩展处理器通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试(AISBench)。使用AISBench 2.0测试工具，模型推理和部署，64核，即可以在通用系统上部署一部分AI工作负载，测试中，深度学习框架：PyTorch 2.3.1、