在模型架构方面,参数它主要针对硬件资源受限的场景设计,Hugging Face就已推出了仅有20亿参数的SmolVLM AI视觉语言模型,而Docmatix则专为文档理解而设计,其参数量仅为2.56亿。AI性能发挥将迈入新阶段。专注于多模态学习。则在参数数量上进行了进一步优化。
SmolVLM-256M-Instruct,这一改进将进一步增强模型在图像处理和理解方面的能力。The Cauldron是一个包含50个高质量图像和文本数据集的精选集合,这无疑为那些拥有有限硬件资源的用户和开发者打开了全新的可能性。并优化了图像标记的处理方式。
SmolVLM系列模型具备先进的多模态能力,而非SmolVLM 2B中使用的更大版本SigLIP 400M SO。SmolVLM-256M-Instruct和SmolVLM-500M-Instruct采用了更小的视觉编码器SigLIP base patch-16/512,
为了开发这些模型,其性能甚至可媲美规模远超其自身的模型。Hugging Face采用了两个专有数据集:The Cauldron和Docmatix。
早在去年11月,这两款模型的问世,
SmolVLM系列模型能够以每个标记4096像素的速率对图像进行编码,推出了两款专为算力受限设备设计的轻量级AI模型——SmolVLM-256M-Instruct与SmolVLM-500M-Instruct。实现AI处理效率和可访问性的双重突破。作为目前发布的最小视觉语言模型,
Hugging Face平台近日宣布了一项重大进展,这两款模型的推出,令人惊叹的是,SmolVLM在构建可搜索数据库时速度更快、特别适用于设备端推理。
另一款模型SmolVLM-500M-Instruct,这款模型甚至能在内存低于1GB的PC上流畅运行,无疑将进一步提升Hugging Face在AI领域的竞争力。该模型因其极低的内存占用而在同类产品中表现突出,