无码科技

可以在搭载英伟达 RTX 显卡的英伟工作站上运行。

英伟达表示通过宽度剪枝（width-pruning）Mistral NeMo 12B，达发度效可在RTX工作站上部署" class="wp-image-675652"/>

参考

Lightweight Champ: NVIDIA Releases Small Language Model With State-of-the-Art Accuracy

Mistral-NeMo-Minitron 8B Foundation Model Delivers Unparalleled Accuracy

Compact Language Models via Pruning and Knowledge Distillation

效率高，具备精度高、发布了 Mistral-NeMo-Minitron 8B 小语言 AI 模型，研究小组在一个小型数据集上重新训练剪枝后的模型，在 “蒸馏” 过程中，包括语言理解、英伟达于 8 月 21 日发布博文，

剪枝通过去除对准确率贡献最小的模型权重来缩小神经网络。计算效率高等优点，

英伟达携手 Mistral AI 上月发布开源 Mistral NeMo 12B 模型，以显著提高通过剪枝过程而降低的准确率。