![image.png](/static/img/aa27f4aee6c33c3b8745e036f9b43690.image.webp)



# 模型极限压缩论文笔记

这篇论文提出了一种极限压缩大语言模型（LLM）的方法，称为加性量化（Additive Quantization，AQ）。以下是这个量化方法的主要优势、之前方法的缺陷、算法原理以及实验结果：

## 量化方法的优势

1.  **极限压缩**：AQLM 可以在每个参数低至 2-3 位的情况下对模型进行压缩。它是第一个在这种极端压缩下依然保持精度和模型大小之间帕累托最优的方案，尤其是在 2 位量化方面表现突出。
    
2.  **精度和速度**：AQLM 在极低的位数下依然保持了高精度，并且在速度上可以匹配甚至超过优化过的 FP16 实现，同时占用更少的内存空间。
    
3.  **实用性**：AQLM 提供了 GPU 和 CPU 的高效实现，用于生成文本。它在速度上与浮点数基线相当，内存占用减少了多达 8 倍。
    
![image.png](/static/img/68d294be461b4917b2481c33cb3a9650.image.webp)

## 之前的方法（AWQ,GPTQ,SPQR,QUIP）

1.  **精度损失**：现有方法在极端低比特率下会导致显著的精度下降，需要更复杂的实现和更高的运行时开销。
    
2.  **模型大小与精度的权衡**：低比特率压缩方法常常需要权衡模型大小和精度损失，这在 2 位范围内尤为明显。传统方法在处理 2 位量化时，实用性不如直接使用较小的基础模型并将其量化至更高比特率。
    

## 算法原理

AQLM 方法将加性量化应用到大语言模型的权重矩阵上，并在输入自适应的基础上进行学习，联合优化每个 Transformer 块中的码书参数。该方法基于经典的信息检索中的多码书量化（MCQ）技术：

1.  **学习加性量化**：权重矩阵通过加性量化的方式进行学习，使得量化后的权重矩阵输出可以近似地保持原来的输出。
    
2.  **联合优化**：对 Transformer 块中的码书参数进行联合优化，以减少量化误差。这种方法避免了需要对异常值进行独立量化，从而保持了简单的同构格式，易于实际应用。
    

具体的实现：

![image.png](/static/img/aa27f4aee6c33c3b8745e036f9b43690.image.webp)

### 1. 预处理和初始化

*   **权重矩阵分解**：将模型的权重矩阵 WWW 分解为多个较小的矩阵，以便于进行量化。假设我们将权重矩阵分解为 KKK 个码书矩阵 CiC\_iCi​，使得 W≈∑i=1KCiW \approx \sum\_{i=1}^K C\_iW≈∑i=1K​Ci​。
    
*   **码书初始化**：每个码书矩阵 CiC\_iCi​ 都使用随机或其他策略进行初始化，以便后续的优化。
    

### 2. 训练阶段

*   **码书学习**：在训练过程中，通过反向传播和优化算法（如随机梯度下降），同时优化码书矩阵 CiC\_iCi​ 和原始模型的其余参数。目标是最小化量化误差和原始模型输出之间的差距。
    
*   **加性更新**：在每个训练步骤中，权重矩阵通过加性更新的方式更新，即 W′=∑i=1KCiW' = \sum\_{i=1}^K C\_iW′=∑i=1K​Ci​，不断调整码书矩阵以更好地逼近原始权重矩阵。
    
*   **误差反馈**：使用误差反馈机制，通过比较量化模型的输出和未量化模型的输出，指导码书矩阵的更新方向和幅度。
    

### 3. 量化阶段

*   **量化编码**：将训练好的码书矩阵进行编码，使其在给定的位宽（如 2 位或 3 位）内表示。每个码书矩阵的值映射到特定的量化级别，以减小表示的浮点数精度。
    
*   **联合优化**：通过联合优化技术，调整每个 Transformer 块的码书参数，使得整体模型在量化级别下的输出误差最小化。
    

## 实验结果

1.  **精度表现**：AQLM 在标准的 2-4 位压缩范围内的表现都优于之前的最优方法，尤其在极限的 2 位量化中有显著的提升。
    
2.  **性能提升**：AQLM 可以实现大约 30% 的 GPU 层级加速，并在 CPU 推理中达到高达 4 倍的加速。
    

综上所述，AQLM 通过引入加性量化和联合优化技术，实现了在极限压缩条件下依然保持高精度和性能的优势。


![image.png](/static/img/ade90d568b9609f585dd5e24ad2129e0.image.webp)

模型极限压缩论文笔记

![image.png](/static/img/1b7e71c6f2a5adeca46196175da7c339.image.webp)



# VB-lora

**源码**：[https://github.com/leo-yangli/VB-LoRA](https://github.com/leo-yangli/VB-LoRA)

**论文**：[https://arxiv.org/abs/2405.15179](https://arxiv.org/abs/2405.15179)

## 背景

随着大型语言模型的采用增加以及对每个用户或每个任务模型定制的需求的增长，参数高效微调（PEFT）方法，例如低秩适应（LoRA）及其变体，会产生大量的费用。存储和传输成本。**为了进一步减少存储的参数**，**VB-LoRA** 引入了“分而共享”范例，通过向量库全局共享参数，打破了跨矩阵维度、模块和层的低秩分解的障碍。 **实现了极高的参数效率，同时保持了可比或更好的性能。**

## 方法论

**「LoRA局限性」** LoRA通过在模型的权重矩阵上添加低秩矩阵来调整模型参数，而不是更新整个权重矩阵。尽管LoRA减少了训练参数的数量，但它通常**只针对模型中每个权重矩阵单独进行低秩分解，没有实现跨矩阵、跨模块或跨层的参数共享**。

本文提出VB-LoRA方法，旨在减少可训练参数量，同时保持模型性能。该方法基础是**「“分而共享（divide-and-share）”」**范式


![image.png](/static/img/1b7e71c6f2a5adeca46196175da7c339.image.webp)
**「分解（Divide）」** 目的是将LoRA中的低秩矩阵分解成更小的、可管理的组件。这是通过Rank-1分解的形式来实现的，即将一个大的矩阵分解为多个小的Rank-1矩阵的和。每个Rank-1矩阵由两个向量的外积组成，这两个向量分别对应于原始矩阵的行和列。通过这种方式，原始的大矩阵被分解为多个更小的向量，为下一步的共享做准备。

**「共享(Share)」** 该步骤是“分而共享（divide-and-share）”范式的核心，作者通过一个共享的向量库（Vector Bank），让模型中的不同部分共享相同的参数，从而减少整体参数数量。其中向量库中的向量被设计为可以跨多个子矩阵、模块和层复用。

**「向量选择」** 对于每个子向量，模型通过一个可学习的logits向量来选择向量库中最重要的k个向量。这个选择过程是通过一个softmax层来实现的，它将logits转换为概率分布，然后选择概率最高的k个向量，并将它们组合成子向量，这些子向量随后被用于构建模型的参数。

通俗一点就是，秩r=1分解降维。多个分解求和得到W

其中:  
u₁ = \[1, 1, 0, 1\]ᵀ v₁ = \[2, 1, 0\]  
u₂ = \[0, 1, 1, 0\]ᵀ v₂ = \[0, 2, 1\]

```plaintext
u₁v₁ᵀ = [2  1  0]
        [2  1  0]
        [0  0  0]
        [2  1  0]

u₂v₂ᵀ = [0  0  0]
        [0  2  1]
        [0  2  1]
        [0  0  0]

W = u₁v₁ᵀ + u₂v₂ᵀ = [2  1  0]
                    [2  3  1]
                    [0  2  1]
                    [2  1  0]
```

## 实验结果

作者使用了GLUE基准测试来评估VB-LoRA在不同自然语言理解任务上的性能。可以看到VB-LoRA在RoBERTa-Large模型上与其他PEFT方法相比，存储参数数量显著减少，但分数更高。

![image.png](/static/img/67a18a2db56c019867cf5f647a5eafe0.image.webp)

在自然语言生成任务中，本文使用了GPT-2 Medium和Large模型，并在E2E数据集上进行了微调。VB-LoRA在保持与VeRA相当或更好性能的同时，所需的存储参数数量更少。

![image.png](/static/img/ff72ef3a5691b0a691448bbe2edbf76b.image.webp)
对Llama2模型（7B和13B参数版本）进行微调，VB-LoRA在使用极少的存储参数（Llama2 7B为0.8M，Llama2 13B为1.1M）的情况下，实现了比LoRA更高的分数。
![](http://101.34.53.72:2004/static/img/ff72ef3a5691b0a691448bbe2edbf76b.image.webp)

VB-lora

![image.png](/static/img/775f8e8c74596dae47b988ffdfb995a8.image.webp)



# Mixture-of-Subspaces in Low-Rank Adaptation

论文：[https://arxiv.org/abs/2405.15179](https://arxiv.org/abs/2405.15179)

github:[https://github.com/wutaiqiang/MoSLoRA](https://github.com/wutaiqiang/MoSLoRA)

##  背景

LoRA 通过在预训练权重上添加低秩分支来进行微调，从而减少了需要更新的参数量。然而，LoRA 在适应复杂任务时仍有局限性，**主要在于其无法充分捕捉子空间之间更复杂的关系**。为了提升性能，探索如何更好地混合这些低秩子空间的信息。

为了解决 LoRA 的不足，研究人员提出了一种新的子空间混合方法——**Mixture-of-Subspaces LoRA (MoSLoRA)。**MoSLoRA 通过引入一个**可学习的混合器来融合多个子空间**，从而灵活地捕捉更多信息。这种方法在多个基准测试中表现优异，**显著提升了模型的鲁棒性和准确性，同时引入的额外参数和计算开销可以忽略不计**

## 方法论

![image.png](/static/img/775f8e8c74596dae47b988ffdfb995a8.image.webp)
 
**第一个表达式** `x(A1B1 + A2B2)`：

*   这里使用的是传统的 LoRA 分解方式，即将矩阵 A 分解为两个子空间 A1 和 A2，矩阵 B 分解为 B1 和 B2。
    
*   然后，分别在子空间内进行相乘（A1 与 B1，A2 与 B2），再将结果相加。
    
*   这种方法在保持模型参数减少的同时，还能有效保持一定的模型表现。
    

**第二个表达式** `x(A1B1 + A2B2 + A1B2 + A2B1)`：

*   这是在“Mixing Two Subspaces”策略下引入的一种新方法。
    
*   不仅包含了原始的乘积（A1B1 和 A2B2），还增加了交叉项（A1B2 和 A2B1）。
    
*   这些额外的交叉项旨在探索更复杂的组合方式，可能会捕捉到更多的特征关系，从而提升模型的表现。
    

# 低秩适应 (LoRA) 方法对比

## 1. Vanilla LoRA

最基本的低秩适应方法。

公式：

\`\`\`

∑(i=1 to r) Ai \* Bi

\`\`\`

其中，Ai ∈ R^(d1×1)，Bi ∈ R^(1×d2)，r 是秩。

特点：简单直接，但信息交互有限。

## 2. Two-subspaces-mixing LoRA

通过混合相邻子空间增强信息交流。

公式：

\`\`\`

∑(i=1 to r/2) (Ai + Ai+r/2) \* (Bi + Bi+r/2)

\`\`\`

特点：每对相邻子空间（如 A1 和 A3，B1 和 B3）进行混合，增加信息交互。

## 3. MoSLoRA (Proposed)

引入可学习的混合器来融合更多信息。

公式：

\`\`\`

∑(i=1 to r) ∑(j=1 to r) wij \* Ai \* Bj

\`\`\`

其中，wij 是可学习的权重。

特点：最灵活，允许所有 Ai 和 Bj 之间的交互，可学习最优混合策略。

## 组合视图对比

\- \*\*Vanilla LoRA\*\*: A 和 B 之间是固定连接。

\- \*\*Two-subspaces-mixing LoRA\*\*: A 和 B 之间有固定混合模式。

\- \*\*MoSLoRA\*\*: A 和 B 之间有可训练混合器，允许更灵活的信息融合。

MoSLoRA 的主要优势在于其灵活性和学习能力，可根据具体任务自适应调整子空间交互，潜在获得更好性能。


![image.png](/static/img/1d189b86541c404555b6dcdb1529dbce.image.webp)

Mixture-of-Subspaces in Low-Rank Adaptation

![cover_image](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241547965-3c332d74-e273-4c4a-a1ca-03a9c750d208.png)



#  有关大模型幻觉与灾难性遗忘


> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>
>

  

  

#  大模型幻觉与灾难性遗忘

笔者今天主要分享两篇论文，有关大模型幻觉与持续学习（解决遗忘）。

##  《 Banishing LLM Hallucinations Requires Rethinking Generalization 》

###  摘要

大型语言模型 (LLMs)
具有强大的聊天、编码和推理能力，但它们经常产生幻觉。传统观点认为，幻觉是创造力与真实性之间平衡的结果，可以通过将LLM扎根于外部知识源来减轻但不能消除幻觉。通过广泛的系统实验，我们表明这些传统方法无法解释为什么LLMs在实践中会产生幻觉。

他们的实验表明，通过大量记忆专家混合 (MoME) 增强的 LLMs
可以轻松记住大型随机数数据集。用理论结构证实了这些实验结果，该理论结构表明，当训练损失高于阈值时，经过训练来预测下一个标记的简单神经网络会产生幻觉，就像在实践中对互联网规模数据进行训练时通常所做的那样。通过与减轻幻觉的传统检索方法进行比较来解释我们的发现。利用发现设计了第一代消除幻觉的模型
- Lamini-1 - 将事实存储在动态检索的数百万记忆专家的巨大混合物中。

###  随机化测试

通过实验表明，LLMs可以记住随机标签，同时在一般化方面表现良好。这表明，即使是在训练数据噪声较大的情况下，LLMs仍然能够准确记住大量事实。


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241567593-64aaf78e-2f2a-4e0e-8562-7065cbe983aa.png)


###  正则化测试

实验目标是了解 LLMs 的泛化能力。我们评估在随机标签上微调的 LLMs
的答案以及在保留的测试示例集上在真实标签上微调的答案。我们的直觉是，记住随机标签应该会导致更高的泛化误差。然而，如表 1
所示，随机标签训练对不相关测试集问题的答案大部分没有改变。


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241590064-dc8bbc55-2b07-49cc-9631-292680c93f76.png)


###  Lamini


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241600114-8a8a84f6-3e61-439d-9518-4d38891861f6.png)


混合内存专家（MoME -
发音为“mommy”）架构的线框图，并列出了用于管理数百万专家的索引，我们将在本文中详细探讨这些索引。我们的系统的核心是一个预训练的变压器主干，由适配器（类增强，这些适配器是使用交叉注意力从索引中动态选择的该网络在冻结主干网络的同时进行端到端训练（类似于
LoRA Hu 等人（2021）），使我们能够将特定事实准确地存储在选定的专家中。

在推理时，仅从索引中检索相关专家，从而允许 LLM 存储大量事实，同时保持较低的推理延迟。

**算法实现：**

  1. 1\. 对于给定的问题，选择一组专家，例如百万阵中，有32个。 

2.冻结骨干网络的重量，并用来选择专家的交叉注意。

  1. 1\. 采取梯度下降步骤，直到损失减少到足以记住这一事实。 

###  观点：

LLMs可以轻松记住随机标签，而不会出现泛化错误。

见解：泛化错误不会区分有幻觉的模型和没有幻觉的模型。

训练足够长的时间来消除幻觉比泛化缩放定律所暗示的最佳配方需要更多的计算密集度。

###  结语

本文提出了一项开创性的研究，挑战了大型语言模型 (LLMs) 的传统观点及其在没有幻觉的情况下进行泛化的能力。

我们证明 LLMs 可以轻松记住随机标签，而不会增加其泛化误差，这与幻觉是创造力与事实之间平衡的结果的概念相矛盾。

此外，我们表明泛化误差不会区分产生幻觉和不产生幻觉的模型，并且训练足够长的时间来消除幻觉是计算密集型的，并且到 2024 年在现有系统上可能不可行。

我们的研究强调需要新的评估 LLMs 精确记忆和回忆事实能力的指标和方法，并表明 LLMs
有足够的能力精确存储大型事实数据集，即使训练数据有噪声时也是如此或随机。

这些发现对于 LLMs 的开发、其应用以及使用 SGD
训练的相关深度神经网络具有重要意义。我们的结果强调了重新思考这些模型的设计和训练以减轻幻觉和提高事实记忆的重要性。

##  《Learning to Prompt for Continual Learning 》

###  摘要·

本文的主要贡献是提出了一种连续学习的方法L2P，可以自动学习提示（Prompt）一个预训练的模型，从而能够在学习一系列的任务的同时减轻灾难性遗忘，并且这个过程无需使用记忆回放等方法。本文的方法中提示是小的可学习的参数，最终目的是优化提示从而在保证可塑性的同时指导模型的预测以及明确地管理任务变量和任务特定知识。

###  **From prompt to prompt pool**

作者列举了使用prompt
pool的动机：首先任务的同一性在测试时难以得到保证，所以针对每个任务训练prompt不可行（个人理解是测试时所有任务是混杂在一起的，无法针对某个测试样本使用其对应的prompt）；其次即使测试时针对每个task样本使用特定的prompt，这也会限制相似任务之间的知识共享；最后，如果针对所有的task使用相同的prompt，虽然可以实现知识共享，但会加剧遗忘（作者也通过实验进行了说明）。理想的情况是针对相似任务进行知识共享，不同的任务要保持知识的独立性，因此作者提出了prompt
pool存储编码后的知识，其中包括M个prompt，每个prompt的shape与编码后的特征一样。从中取N个prompt组成一个子集，与原始输入xp𝑥𝑝拼接得到xe𝑥𝑒：


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241612642-2e2d84d5-59e7-42e7-bf54-be07cedbc442.png)


###  **Instance-wise prompt query**

作者设计了一个基于键值对的询问策略从而动态的为每个输入选择对应的prompt。每个prompt作为value对应一个可学习的key，其维度为Dk𝐷𝑘，作者通过函数将属于RH×W×C𝑅𝐻×𝑊×𝐶的输入映射到RDk𝑅𝐷𝑘，q对于不同任务是一个确定的函数，而冻结的pretrained
model可以很好的完成这个任务：直接将输入通过特征提取器（ViT等）得到的cls
token作为函数的值。用卷积网络进行特征提取也是可以的。之后将计算得到的询问与key计算余弦距离，取距离最小的前N个作为prompt子集。为了能让模型学到task-
specific的prompt，作者还设计了Optionally diversifying prompt-
selection，实际上就是按照每个prompt在过去task中被使用的频率对其进行加权：


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241621752-ad3b5860-57a5-4f90-bfb1-cc4eac421566.png)

###  预知识：比较经典的减少灾难性遗忘的方法

####  1\. 预演缓冲器（Replay Buffer）

预演缓冲器方法通过在训练过程中保存旧任务的数据，并在训练新任务时与新数据一起重放这些旧数据，从而减轻灾难性遗忘。这种方法有几种变体：

####  完全预演（Full Replay）

将所有先前任务的数据保存在缓冲器中，在训练新任务时，旧任务的数据与新任务的数据一起使用。这种方法虽然简单有效，但可能需要大量存储空间。

####  选择性预演（Selective Replay）

只保存一部分旧任务的数据，如代表性样本或最近的数据，以减少存储需求。常用的策略包括基于数据的重要性或多样性选择样本。

####  生成预演（Generative Replay）

使用生成模型（如生成对抗网络或变分自编码器）来生成旧任务的数据，而不是存储实际数据。生成模型在训练新任务时生成类似于旧任务的数据进行预演。

####  2\. 任务识别机制（Task Recognition Mechanism）

任务识别机制通过在测试时识别当前任务，并恢复模型在该任务上的参数或状态，从而减轻灾难性遗忘。主要方法包括：

####  专家网络（Expert Networks）

为每个任务训练一个独立的子网络，测试时通过任务识别机制选择合适的子网络进行推理。虽然可以避免灾难性遗忘，但模型参数规模较大。

####  模块化网络（Modular Networks）

将模型分成多个模块，每个模块负责特定任务或功能。通过任务识别机制组合不同的模块，适应当前任务。这种方法在提高模型适应性的同时，控制了参数规模。

####  动态扩展网络（Dynamic Expanding Networks）

根据新任务的需求，动态扩展模型的结构，添加新的神经元或层。任务识别机制用于选择和激活相关的网络部分。这种方法在保证适应性的同时，保持模型的紧凑性。

####  3\. 参数正则化方法

参数正则化方法通过在训练新任务时，对模型参数进行约束，保持与旧任务的参数相近，从而减轻灾难性遗忘。这类方法包括：

####  弹性权重固化（Elastic Weight Consolidation, EWC）

通过计算参数在旧任务中的重要性，训练新任务时对重要参数施加正则化约束，防止参数大幅度改变。

####  永久学习（Learning without Forgetting, LwF）

在训练新任务时，通过蒸馏旧任务的知识（即旧模型的预测），保持旧任务的性能。

####  4\. 联合训练方法（Joint Training Methods）

联合训练方法通过同时训练多个任务，确保模型在所有任务上的性能。主要方法包括：

####  多任务学习（Multi-task Learning）

在同一模型上同时训练多个任务，利用共享参数提升模型的泛化能力。虽然可以有效避免灾难性遗忘，但需要同时获取所有任务的数据。

##  对比

![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241633438-8af251dd-9a1a-448d-9483-ee82e64599f8.png)


  

##  Bob的产品

1.【Bob的AI成长陪伴群】门票🎫99💰/年。

2.【AI+老人回忆录制作】正在运营，有需求 或者 想加入 可微信私聊。

3.【语音咨询】：99💰/小时

群里分享讨论:

🔴AI变现项目、AI前沿技术、NLP知识技术分享、前瞻思考、面试技巧、找工作等

🔴个人IP打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

找一群人一起走，慢慢变富。期待和同频‮朋的‬友一起蜕变！

扫码加微信，链接不迷路！

![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/08/07/1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.jpg)

有关大模型幻觉与灾难性遗忘

![cover_image](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241475475-97fd2b72-d7f7-4c1c-89e3-b76251f1d296.png)



#  新一代模型微调方案LLama-Pro ，快来围观！！！


> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>
>

  

#  LLAMA PRO论文笔记

直达链接：

#  摘要

这篇论文介绍了一种名为LLAMA
PRO的新型后预训练方法，用于增强大型语言模型（LLMs）在特定领域的性能，同时保持其原有的通用能力。通过扩展Transformer块来增加模型的深度，从而在不牺牲原有性能的情况下，提升模型在编程、数学和一般语言任务中的表现。LLAMA
PRO模型是在LLAMA2-7B的基础上通过块扩张方法构建的，并在编程、代码和数学方面表现出色。此外，本文还介绍了一种指令版的LLAMA PRO-
INSTRUCT，它在各种基准上达到了先进的性能。实验结果表明，LLAMA
PRO不仅在通用语言任务上保持了高水平的表现，而且在编程和数学任务上的性能也得到了显著提升。

#  先前微调方法的不足

之前的微调方法，如指令调优（Instruction Tuning）和参数高效调优（Parameter-Efficient Fine-
Tuning），如LoRA，虽然能够增强大型语言模型（LLMs）在特定领域的性能，但也存在一些缺点：

  * 指令调优（Instruction Tuning）：这种方法通常需要大量的指令数据来进行调优，以产生高质量的输出。但是这种方法需要很高的计算资源。 

  * 参数高效调优（Parameter-Efficient Fine-Tuning）：如LoRA等方法虽然能够以较低的计算成本适应预训练模型到新的领域，但这些方法通常在预训练阶段之后应用，可能会导致模型在适应新领域的同时，损失一部分原有的通用能力。 

#  LLAMA PRO 架构

LLaMA PRO通过在现有的LLM中添加额外的Transformer块来增加模型的深度，这些块在初始化时被设置为零，并在domain-
specific语料库上进行微调。这种方法使得模型能够在学习新知识的同时，避免了对原有知识的遗忘。

此外，LLaMA PRO还采用了指令跟随（Instruction Following）技术，通过大约80M tokens的supervised
instruction tuning，进一步增强了模型的能力。这种技术使得模型能够更好地理解和执行人类的指令，从而在各种任务中表现出更好的性能。

![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241497945-1e009dc9-3800-4d38-9863-39aec03efd9f.png)


如图(a)所示，从一个大型的语言模型（LLM）开始，该模型在庞大的未标注语料库上进行了预训练，从而获得了强大的通用能力。为了方便起见，文章选择了现成的LLaMA2。(b)
采用了骨干扩展，并使用特定领域语料库对扩展的身份块进行了微调，同时冻结了从基础模型继承的块。经过后预训练的模型可以像往常一样用于指令调优。

#  具体实现


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241507258-71105eb5-2863-4875-aa48-b1e1bf972fb9.png)

  1. **模型扩展** ：在现有的LLaMA模型中，每组Transformer块之后添加一个Identity Block（身份块，如上图）。这些块在初始化时被设置为零，以确保模型在扩展后保持相同的输出。 

  2. **分组和复制** ：将原始模型的Transformer块分成多个组，对于每个组，创建原始块的上层副本（即身份块），并将其堆叠在原始组之上。这个过程是逐层进行的，以保持Transformer模型的结构特性。 

  3. **身份块定义** ：身份块被定义为恒等函数，即对于任何输入，身份块输出的值与输入相同。这样可以确保在添加新块后，模型的输出行为不会改变。 

  4. **初始化** ：新添加的块中的线性层被初始化为零，以实现身份映射。这样，在训练过程中，这些新块可以学习新的知识，而不会影响或覆盖原有的知识。 

  5. **微调** ：在添加新块之后，只对新增的块进行微调，而保持原始的块冻结。这样可以确保模型在增强特定领域能力的同时，不会牺牲其原有的通用能力。 

  6. **训练和优化** ：使用domain-specific的语料库对扩展后的模型进行微调。在这个过程中，只更新新添加的块，而原始的块保持不变。 


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241518621-9a5757d0-6748-4c5d-8431-8c30f3ad5bac.png)


#  效率和效果


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241527639-ef277398-e09c-4eaa-a84d-4a99f3bb3152.png)

如图所示，横轴为Code Tasks Avg，纵轴为Language Tasks Avg，圆点的尺寸与训练的令牌数量成正比。

不同训练策略评估结果的比较，报告了在通用任务和法律特定任务上的表现。可以看出Add 8 Block这个超参数下平局分数最高。

##  Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 🎫99💰/年。

2.【AI+老人回忆录制作】正在运营，有需求 或者 想加入 可微信私聊。

3.【语音咨询】：99💰/小时

群里分享讨论:

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

扫码加微信，链接不迷路！

![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/08/07/1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.jpg)

 新一代模型微调方案LLama-Pro ，快来围观！！！

这里分享实用的项目经验、独到的面试技巧，以及对AI技术趋势的前瞻性思考，帮助你在AI领域找到自己的定位。一起探索，一起成长，一起破圈。