2024年7月16日 · In this blog post, we will go over the curation of each subset in the training corpus and then discuss the training and evaluation of SmolLM models. Evaluation of SmolLM models on different reasoning and common knowledge benchmarks. Data curation From Cosmopedia v1 to v2

smollm/ ├── text/ # SmolLM2 related code and resources ├── vision/ # SmolVLM related code and resources └── tools/ # Shared utilities and inference tools ├── smol_tools/ # Lightweight AI-powered tools ├── smollm_local_inference/ └── smolvlm_local_inference/ Getting Started. SmolLM2. from transformers import ...

2024年8月2日 · 下表展示了经指令精调的 SmolLM 模型 (SmolLM-Instruct) 和其它模型在 IFEval 上的对比。 Qwen2-1.5B-Instruct 取得了最高分，SmolLM-Instruct 模型则在模型大小和性能上取得了很好的权衡，而且仅使用了公开可用的数据集。

下表展示了经指令精调的 SmolLM 模型 (SmolLM-Instruct) 和其它模型在 IFEval 上的对比。 Qwen2-1.5B-Instruct 取得了最高分，SmolLM-Instruct 模型则在模型大小和性能上取得了很好的权衡，而且仅使用了公开可用的数据集。

2024年8月3日 · 此外，SmolLM-135M 和 SmolLM-360M 的 WebGPU 演示页面也可以使用。 总结. 本文介绍了 SmolLM 系列模型，通过实验证明了，只要训练充分、数据质量足够好，小模型也可以取得很好的性能。

SmolLM is a series of state-of-the-art small language models available in three sizes: 135M, 360M, and 1.7B parameters. These models are built on Cosmo-Corpus, a meticulously curated high-quality training dataset.

SmolLM是一系列尖端小型语言模型，提供三种规模的版本：分别为135M、360M和1.7B参数。 这些模型基于Cosmo-Corpus构建，这是 一 个经过精心策划的高质量训练数据集。

2024年7月22日 · SmolLM是由 Huggingface 最新发布的一组高性能的小型语言模型，参数分别为 1.35 亿、3.6 亿和 17 亿，训练数据来自高质量数据集 SmolLM-Corpus，其中包括 Cosmopedia v2、Python-Edu 和 FineWeb-Edu。SmolLM 模型在多种基准测试中表现不错， 适合跑在手机这种 …

SmolLLM2是Hugging Face推出用在设备端应用的紧凑型大型语言模型，提供1.7B、360M、135M三个不同参数级别的模型，适应不同的应用场景和资源限制。模型在理解和执行指令、进行知识推理及解决数学问题方面表现出显著的进步。

2024年8月3日 · 本文将介绍SmolLM。它集合了一系列最尖端的 135M、360M、1.7B 参数量的小模型，这些模型均在一个全新的高质量数据集上训练。本文将介绍数据整理、模型评测、使用方法等相关过程。 SmolLM：https://hf.co/collections/HuggingFaceTB/smollm-models-6695016cad7167254ce15966. 引言