2024年7月22日 · DCLM-7B 使用基于 OpenLM 框架的预训练方案，在 MMLU 基准 上 5-shot 准确率 达到 64%，可与 Mistral-7B-v0.3（63%）和 Llama 3 8B（66%）相媲美，并且在 53 个 自然语言理解 任务上的平均表现也可与 Mistral-7B-v0.3、Llama 3 8B 相媲美，而所需计算量仅为 Llama 3 …

2024年7月27日 · DataComp-LM（DCLM） 是一个全面的框架，专为构建和训练具有不同数据集的大型 语言模型 （LLM）而设计。 它提供了一个标准化的语料库，其中包含来自Common Crawl的超过300T未过滤令牌、基于open_lm框架的有效预训练方案以及一个包含50多个评估的广泛套件。 该存储库提供了处理原始数据、标记化、洗牌、训练模型和评估其 性能 的工具和指南。 DCLM使研究人员 能够在不同的计算尺度上试验各种数据集构建策略，从411M到7B参数模型。 我们 …

2024年7月22日 · 效果的核心还是数据质量，他们从 DCLM-POOL 开始，这是一个源自 Common Crawl 的 240 T个token的语料库（迄今为止最大的语料库），并提供了 5 个尺度的数据集设计的缩放趋势的研究：

2024年7月18日 · OpenAI 于 2020 年在论文「Scaling Laws for Neural Language Models」中首次提出 Scaling Laws，它被看作是大语言模型的摩尔定律。 其释义可简要总结为： 随着模型大小、数据集大小、（用于训练的）计算浮点数的增加，模型的性能会提高。 在 Scaling Laws 的影响下，不少追随者始终认为「大」依然是提高模型性能的第一性原理。 尤其是「财大气粗」的大厂，更加依赖于大型、多样化的语料数据集。 对此，清华大学计算机系博士秦禹嘉指出，「LLaMA …

作为DCLM的一部分， 我们提供了从Common Crawl中提取的240T tokens的标准化 语料库，基于OpenLM框架的有效预训练方案，以及一个包含53项下游评估的广泛测试套件。 参与DCLM基准测试的研究人员可以在模型规模从412M到7B参数的范围内，进行诸如去重、过滤和数据混合等数据整理策略的实验。 作为DCLM的基线，我们进行了大量实验， 发现基于模型的过滤对于构建高质量的训练集至关重要。 最终的训练集DCLM-BASELINE，使我们能够从零开始训练一个具有7B …

2024年7月18日 · OpenAI 于 2020 年在论文「Scaling Laws for Neural Language Models」中首次提出 Scaling Laws，它被看作是大语言模型的 摩尔定律。 其释义可简要总结为： 随着模型大小、数据集大小、（用于训练的）计算浮点数的增加，模型的性能会提高。 在 Scaling Laws 的影响下，不少追随者始终认为「大」依然是提高模型 性能 的第一性原理。 尤其是「财大气粗」的大厂，更加依赖于大型、多样化的语料数据集。 对此，清华大学计算机系博士秦禹嘉指出， …

DataComp-LM (DCLM) is a comprehensive framework designed for building and training large language models (LLMs) with diverse datasets. It offers a standardized corpus of over 300T unfiltered tokens from CommonCrawl, effective pretraining recipes based on the open_lm framework, and an extensive suite of over 50 evaluations.

You may give your financial support for the Global Crusades online by clicking below.

2024年4月21日 · TOPIC: Shining As Stars (DCLM Daily Manna 21 April 2024) KEY VERSE: “And they that be wise shall shine as the brightness of the firmament; and they that turn many to righteousness as the stars for ever and ever” (Daniel 12:3). TEXT: Daniel 12:1-3 (KJV)

2024年7月18日 · OpenAI 于 2020 年在论文「Scaling Laws for Neural Language Models」中首次提出 Scaling Laws，它被看作是大语言模型的摩尔定律。 其释义可简要总结为： 随着模型大小、数据集大小、（用于训练的）计算浮点数的增加，模型的性能会提高。 在 Scaling Laws 的影响下，不少追随者始终认为「大」依然是提高模型性能的第一性原理。 尤其是「财大气粗」的大厂，更加依赖于大型、多样化的语料数据集。 对此，清华大学计算机系博士秦禹嘉指出，「LLaMA …