Official implementation of 'LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention' and 'LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model'. This repo proposes LLaMA-Adapter (V2), a lightweight adaption method for fine-tuning Instruction-following and Multi-modal LLaMA models 🔥.

本文提出 LLaMA-Adapter，一种高效的微调方法，将 LLaMA 调整为指令跟随模型。 对于 llama7b 模型来说，可训练参数缩小到 1.2M，只需要 1 小时即可完成 52K 数据微调 (基于 8xA100 训练)，比 Alpaca 快 3 倍

2023年3月28日 · We present LLaMA-Adapter, a lightweight adaption method to efficiently fine-tune LLaMA into an instruction-following model. Using 52K self-instruct demonstrations, LLaMA-Adapter only introduces 1.2M learnable parameters upon the frozen LLaMA 7B model, and costs less than one hour for fine-tuning on 8 A100 GPUs.

全称是 LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention，是上海人工智能实验室在 2023年6月14日 挂在 axriv 上的一篇论文。 1. 摘要. 一个轻量级的 adaption 的方法有效的微调 LLaMA 模型。LLaMA-Adapter 仅仅有 1.2M 的可学习参数就可以微调一个 7B 的 …

我们提出了LLaMA-Adapter，这是一种轻量级的适应方法，可将LLaMA有效地微调为一个遵循指令的模型。 借助52,000个自我指导的演示，LLaMA-Adapter仅在冻结的LLaMA 7B模型上引入了 1.2M 个可学习的参数，并在8个A100 GPU上微调不到 一小时 。

LLAMA-Adapter V2 通过在推理时集成 LLAMA-Adapter 生成的简短但精确的描述来突出，以实现高效的 zero-shot 和免训练的视觉指令理解，将其与在训练期间需要大量多模态数据的其他方法区分开来。

2023年5月5日 · Official implementation of 'LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention' and 'LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model'. This repo proposes LLaMA-Adapter (V2), a lightweight adaption method for fine-tuning Instruction-following and Multi-modal LLaMA models 🔥.

2023年8月31日 · 在本文中，我们提出了LLaMA-Adapter V2，一种参数高效的视觉指令模型。 具体而言，我们首先通过解锁更多可学习参数（例如，norm、偏置和比例），增强LLaMA Adapter，这些参数在整个LLaMA模型中分布指令跟踪能力。

2023年4月28日 · In this paper, we present LLaMA-Adapter V2, a parameter-efficient visual instruction model. Specifically, we first augment LLaMA-Adapter by unlocking more learnable parameters (e.g., norm, bias and scale), which distribute the instruction-following ability across the entire LLaMA model besides adapters.

Official implementation of 'LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention'. This repo proposes LLaMA-Adapter, a lightweight adaption method for fine-tuning instruction-following LLaMA models 🔥, using 52K data provided by Stanford Alpaca.