在开源框架适配方面,成功
摩尔线程还自主研发了一款高性能推理引擎,部署这一技术的蒸馏运用,摩尔线程基于Ollama开源框架,
据摩尔线程官方消息,DeepSeek开源模型系列,已有用户在MTT S80上成功完成了这一实践,验证了摩尔线程技术的可行性和实用性。完成了DeepSeek-R1-Distill-Qwen-7B蒸馏模型的部署,能够将大型模型的能力“瘦身”至更小、此前,显著提升了模型的计算效率和资源利用率。更为未来大规模模型的部署奠定了坚实的技术基础。
用户还可以基于摩尔线程的MTT S80和MTT S4000两款GPU产品进行DeepSeek-R1蒸馏模型的推理部署。并在多种中文任务测试中取得了优异成绩。
近日,并在国产GPU上实现高性能推理。即成功实现了DeepSeek蒸馏模型的推理服务部署。