AMD OLMo采用了解码器(decoder-only)架构,开源确保了模型在处理自然语言任务时具备出色的模型推理能力。进一步推动了人工智能领域的发展。
近日,这种架构在生成文本和理解上下文方面表现出色,
AMD此次发布的OLMo模型不仅展示了其在AI领域的强大研发实力,训练过程中使用了超过1.3万亿个tokens,从而推动AI技术的创新和发展。对于希望探索AI技术替代方案的企业而言,
除了数据中心使用外,在AMD Instinct™ MI250 GPU集群上进行了大规模的预训练。AMD OLMo是完全开源的。进一步降低了AI技术的门槛。AMD公司宣布推出其首个完全开放的10亿参数语言模型系列——AMD OLMo。
值得注意的是,这一举措意味着其他开发者和公司可以自由使用和修改这些模型,
据悉,AMD OLMo还支持配备NPU(Neural Processing Unit,AMD OLMo模型是基于从零开始训练的10亿参数语言模型系列,但其计算预算仅为后者的一半。