2024年7月28日 · DCLM-POOL是最大的公开语言模型训练语料库，并构成了DCLM过滤赛道的基础，参赛者的目标是从DCLM-POOL中筛选出最佳可能的训练集。 此外，我们还提供了开源软件，用于处理大规模数据集，并采用多种过滤方法。 语言模型的高训练成本要求我们理解不同计算规模和数据规模下训练配方的性能。 因此，我们的第三个贡献是对数据集设计的扩展趋势进行探究。 我们发现，即使是4亿参数的小型模型也能提供信号，指示哪些训练集在更大规模上表现更好 …

2024年7月22日 · DCLM-7B 使用基于 OpenLM 框架的预训练方案，在 MMLU 基准 上 5-shot 准确率 达到 64%，可与 Mistral-7B-v0.3（63%）和 Llama 3 8B（66%）相媲美，并且在 53 个 自然语言理解 任务上的平均表现也可与 Mistral-7B-v0.3、Llama 3 8B 相媲美，而所需计算量仅为 Llama 3 …

2024年7月22日 · DCLM-7B是苹果与合作伙伴一起推出的开源小型语言模型，全部开源，包括权重、训练代码和数据集。 DCLM-7B性能优异，接近大型模型，采用decoder-only架构，上下文长度2048。 DCLM-7B在多个基准任务上性能出色，支持商业使用。 模型规格： DCLM-7B 基础模型是在 2.5 万亿个词库上训练出来的，主要使用英语数据，上下文窗口为 2048。 训练数据集： 结合来自 DCLM-BASELINE、StarCoder 和 ProofPile2 的数据集。 性能表现： 该模型的 MMLU 得 …

作为DCLM的一部分， 我们提供了从Common Crawl中提取的240T tokens的标准化 语料库，基于OpenLM框架的有效预训练方案，以及一个包含53项下游评估的广泛测试套件。 参与DCLM基准测试的研究人员可以在模型规模从412M到7B参数的范围内，进行诸如去重、过滤和数据混合等数据整理策略的实验。 作为DCLM的基线，我们进行了大量实验， 发现基于模型的过滤对于构建高质量的训练集至关重要。 最终的训练集DCLM-BASELINE，使我们能够从零开始训练一个具有7B …

2024年7月22日 · 效果的核心还是数据质量，他们从 DCLM-POOL 开始，这是一个源自 Common Crawl 的 240 T个token的语料库（迄今为止最大的语料库），并提供了 5 个尺度的数据集设计的缩放趋势的研究：

2024年7月27日 · dclm-itms it资源管理平台基于64位操作系统设计开发，通过优化系统内核参数以及充分利用64位构架的自身优势使得底层数据采集效率比同类软件高3到5倍。

DataComp-LM (DCLM) 是一个用于构建和训练具有多样化数据集的大型语言模型 (LLMs)的综合框架。 它提供了来自CommonCrawl的超过300T未经过滤的标记的标准语料库，基于open_lm框架的有效预训练方法，以及超过50项评估的广泛套件。 该存储库提供了处理原始数据、分词、打乱、训练模型和评估其性能的工具和指南。 DCLM使研究人员能够在不同的计算规模上进行各种数据集构建策略的实验，从411M到7B参数模型。 我们的基线实验表明，通过优化数据集设计，模型性 …

2024年12月12日 · dclm快速使用手册v9.4是一个全面的it资源管理平台指南，特别针对dclm-itms设计开发，适用于64位操作系统。该平台通过优化系统内核参数和利用64位架构的优势，显著提升了底层数据采集的效率，相比同类软件具有3到5倍...

DataComp-LM (DCLM) is a comprehensive framework designed for building and training large language models (LLMs) with diverse datasets. It offers a standardized corpus of over 300T unfiltered tokens from CommonCrawl, effective pretraining recipes based on the open_lm framework, and an extensive suite of over 50 evaluations.

2024年7月20日 · 基于此，研究团队提出了语言模型数据比较新基准 ——DCLM，这是语言模型训练数据整编（curation）的第一个基准，旨在让 LLM 通过设计高质量数据集来提高模型性能，特别是在多模态领域。 研究团队发现基于模型的过滤，即由机器学习 (ML) 模型从较大的数据集中自动过滤和选择高质量数据，可能是构建高质量训练集的关键。 DCLM 整体思路很简单：使用一个标准化的框架来进行实验，包括固定的模型架构、训练代码、超参数和评估，最终找出哪种数据整 …