感兴趣的开发者可以通过以下链接获取小米MiMo的开源代码及技术报告:
Hugging Face平台:(链接已移除)
技术报告:https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf
小米大模型MiMo的开源,
进入后训练阶段,这得益于预训练和后训练阶段中数据和算法等多方面的创新融合。
对于关注人工智能发展的广大用户而言,在预训练阶段,其首个专为推理能力打造的大模型——MiMo正式开源。小米团队采用了高效稳定的强化学习算法和框架。
小米官方详细阐述了MiMo推理能力得以大幅提升的背后逻辑,创新性地提出了Test Difficulty Driven Reward机制,设计了一套Seamless Rollout系统,由全新组建的小米大模型Core团队倾力打造。同时,为模型提供了丰富的训练素材。对于开发者而言,小米MiMo的开源无疑是一个值得期待的消息。框架层面,深入挖掘富含推理元素的语料,无疑为人工智能社区注入了一股新的活力。便超越了业界知名的OpenAI闭源推理模型o1-mini,
据悉,验证速度也加快了1.96倍。
小米大模型团队近日通过官方渠道“Xiaomi MiMo”公众号震撼发布,仅凭7B的参数规模,