2023年12月23日 · Abstract: We introduce SOLAR 10.7B, a large language model (LLM) with 10.7 billion parameters, demonstrating superior performance in various natural language processing (NLP) tasks. Inspired by recent efforts to efficiently up-scale LLMs, we present a method for scaling LLMs called depth up-scaling (DUS), which encompasses depthwise scaling and ...

2024年1月23日 · 在本指南中，我们将介绍一种合并 Upstage AI 引入的 LLM （Solar 10.7B） 的新方法。 本文作为数据科学博客马拉松的一部分发布。 什么是SOLAR 10.7B？ 什么是深度向上扩展？ 什么是SOLAR 10.7B？ Upstange AI 推出了新的 107 亿参数模型 SOLAR 10.7B。 该模型是合并两个 70 亿参数模型的结果，特别是两个 Llama 2 70 亿模型，它们经过预训练以创建 SOLAR 10.7B。 这种合并的独特之处在于应用了一种称为深度放大 （DUS） 的新方法，与采用混合 …

We introduce SOLAR-10.7B, an advanced large language model (LLM) with 10.7 billion parameters, demonstrating superior performance in various natural language processing (NLP) tasks. It's compact, yet remarkably powerful, and demonstrates unparalleled state-of-the-art performance in models with parameters under 30B.

图片说明：韩国领先的人工智能初创公司Upstage推出自主研发的预学习LLM（大型语言模型）Solar。 图为Upstage的模型在Hugging Fa… 和 Mistral7B 的权重做比较，会发现这个模型的权重很像是把Mistral的前24层和后24层拆分出来，然后拼接成了一个新的48层模型，再接着预训练得到的。 是的，Mistral总共只有32层，所以中间有16层是重复的。 这个模型之所以benchmark表现优秀，是因为这种 upscaling 的做法真的很有效，还是因为训练数据污染之类的原因，还有待 …

solar 10.7b模型基于深度上扩展（dus）框架构建，拥有107亿参数，这使得它在规模上超越了许多现有的大型语言模型。 模型的架构选择了32层的 Llama 2 作为基础，通过DUS方法扩展至48层，以适应更复杂的任务和更深层次的语言理解。

2024年12月12日 · SOLAR-10.7B-Instruct-v1.0 是一款具有 10.7 亿参数的先进 LLM，其在多个 NLP 任务中表现出色。本文将为您详细介绍如何安装和使用 SOLAR-10.7B-Instruct-v1.0，帮助您快速掌握这款强大的语言模型。 安装前准备 系统和硬件要求. 操作系统：Linux、macOS 或 …

6 天之前 · We introduce SOLAR 10.7B, a large language model (LLM) with 10.7 billion parameters, demonstrating superior performance in various natural language processing (NLP) tasks. Inspired by recent efforts to efficiently up-scale LLMs, we present a method for scaling LLMs called depth up-scaling (DUS), which encompasses depthwise scaling and continued ...

2024年12月16日 · SOLAR-10.7B是由Upstage公司开发的一个先进大型语言模型，拥有107亿的参数。 它采用了名为深度上采样（DUS）的技术，在保持模型规模紧凑的同时，显著提升了在多种NLP任务上的表现。 SOLAR-10.7B的特别之处在于它不仅在小至数十亿参数的模型中显示出卓越的性能，甚至在与拥有更大模型（如30亿参数级别）的比较中也不落下风。 在当前NLP领域内，多个模型在不同场景下表现突出。 例如，Mixtral-8x7B-Instruct-v0.1和01-ai/Yi-34B-200K等模型 …

SOLAR-10.7B, an advanced large language model (LLM) with 10.7 billion parameters, demonstrating superior performance in various natural language processing (NLP) tasks. It's compact, yet remarkably powerful, and demonstrates unparalleled state-of-the-art performance in models with parameters under 30B.

2024年1月23日 · 在本指南中，我们将介绍一种合并 Upstage AI 引入的 LLM （Solar 10.7B） 的新方法。 本文作为 数据科学博客马拉松 的一部分发布。 什么是SOLAR 10.7B？ 什么是深度向上扩展？ 引用Transformer 和大型语言模型在 自然语言处理 （NLP） 领域被引入后风靡全球。 自成立以来，该领域一直在快速发展，通过创新和研究使这些 LLM 更加高效。 其中包括 LoRA（Low-Rank Adaption）、Flash Attention、…