![image.png](/static/img/807880d6466f93449f55ecea172c2ce8.image.webp)






https://arxiv.org/pdf/2309.00071.pdf   （YaRN: Efficient Context Window Extension of Large
Language Models。。。

https://arxiv.org/abs/2405.15179

https://arxiv.org/pdf/2406.11909

https://arxiv.org/abs/2406.01775

https://arxiv.org/pdf/2401.02731

https://arxiv.org/pdf/2409.04431

https://arxiv.org/pdf/2402.07148

https://arxiv.org/abs/2406.09117

https://arxiv.org/abs/2406.11909

https://arxiv.org/pdf/2402.10200

https://arxiv.org/abs/2409.12917

https://arxiv.org/abs/2408.13296v1

https://arxiv.org/html/2407.10969v1


https://arxiv.org/pdf/2404.03592

https://arxiv.org/pdf/2109.01903

https://arxiv.org/pdf/2310.11454

https://arxiv.org/abs/2401.06118

https://arxiv.org/pdf/2202.05262

https://arxiv.org/html/2406.07887v1

https://arxiv.org/abs/2410.10630

https://arxiv.org/pdf/2406.17642

https://arxiv.org/pdf/2112.08654

https://arxiv.org/abs/2405.07813

https://arxiv.org/abs/2403.13257

辉哥论文推荐（7.8-10.31）

<image src="/static/img/79f13b8855f1ba49af90591661a221c2.%C3%A6%C2%88%C2%90%C3%A5%C2%8A%C2%9F%C3%A7%C2%9A%C2%84%C3%A6%C2%95%C2%85%C3%A4%C2%BA%C2%8B%C3%A5%C2%8D%C2%83%C3%A7%C2%AF%C2%87%C3%A4%C2%B8%C2%80%C3%A5%C2%BE%C2%8B300%C3%A6%C2%96%C2%A4%C3%A7%C2%9A%C2%84%C3%A8%C2%83%C2%96%C3%A5%C2%AD%C2%90%C3%A4%C2%BB%C2%AC%C3%A5%C2%90%C2%84%C3%A6%C2%9C%C2%89%C3%A5%C2%90%C2%84%C3%A7%C2%9A%C2%84%C3%A4%C2%BC%C2%A0%C3%A5%C2%A5%C2%87.webp">


<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>


> 最近有小伙帮给我推荐了一个transformer的面试问，分享给大家

### 问题
1. Transformer为何使用多头注意力机制？
2. Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？
3. Transformer计算attention的时候为何选择点乘而不是加法？两者计算复杂度和效果上有什么区别？
4. 为什么在进行softmax之前需要对attention进行scaled（为什么除以dk的平方根），并使用公式推导进行讲解？
5. 在计算attention score的时候如何对padding做mask操作？
6. 为什么在进行多头注意力的时候需要对每个head进行降维？
7. 大概讲一下Transformer的Encoder模块？
8. 为何在获取输入词向量之后需要对矩阵乘以embedding size的开方？意义是什么？
9. 简单介绍一下Transformer的位置编码？有什么意义和优缺点？
10. 你还了解哪些关于位置编码的技术，各自的优缺点是什么？
11. 简单讲一下Transformer中的残差结构以及意义。
12. 为什么transformer块使用LayerNorm而不是BatchNorm？LayerNorm 在Transformer的位置是哪里？
13. 简答讲一下BatchNorm技术，以及它的优缺点。
14. 简单描述一下Transformer中的前馈神经网络？使用了什么激活函数？相关优缺点？
15. Encoder端和Decoder端是如何进行交互的？
16. Decoder阶段的多头自注意力和encoder的多头自注意力有什么区别？
17. Transformer的并行化提现在哪个地方？Decoder端可以做并行化吗？
18. 简单描述一下wordpiece model 和 byte pair encoding，有实际应用过吗？
19. Transformer训练的时候学习率是如何设定的？Dropout是如何设定的，位置在哪里？Dropout 在测试的需要有什么需要注意的吗？
20. 引申一个关于bert问题，bert的mask为何不学习transformer在attention处进行屏蔽score的技巧？

### 答案

1. **Transformer为何使用多头注意力机制？**
   答：多头注意力机制的主要目的是让模型在不同的子空间中学习信息，从而提高模型的表达能力。通过多个头，模型可以在不同的关注点上捕捉特征，比如词与词之间的不同关系。相较于单一注意力头，多头注意力可以更全面地理解输入序列的上下文信息。

2. **Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？**
   答：Q（查询）和K（键）使用不同的权重矩阵生成是为了让模型在计算注意力时能够在不同的表示空间中进行匹配。如果使用相同的权重矩阵，模型可能无法有效区分不同的查询和键，降低了学习灵活性和表达能力。不同的权重矩阵可以使得模型在处理相同输入时，能够得到不同的表示，从而进行更有效的匹配。

3. **Transformer计算attention的时候为何选择点乘而不是加法？两者计算复杂度和效果上有什么区别？**
   答：点乘运算比加法运算在计算复杂度上更高效，因为点乘在向量层面上操作，可以直接利用矩阵运算的优势。而且，点乘可以更好地反映相似度，因为它是通过对向量的方向性和大小进行量化的方式来判断相似性；而加法则不具备这种特性。因此，点乘在捕捉特征相似度方面更有效。

4. **为什么在进行softmax之前需要对attention进行scaled（为什么除以dk的平方根），并使用公式推导进行讲解？**
   答：在计算注意力分数时，由于点乘的数值可能会变得非常大，从而导致softmax函数的梯度过小，影响训练效果。因此，将点乘结果除以 \( \sqrt{d_k} \) 可以防止这种情况。推导如下：
   \[
   \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
   \]
   这里，\( d_k \) 是键的维度，通过缩放点乘结果，使得softmax的输入值更加平滑，避免数值过大或过小的问题。

5. **在计算attention score的时候如何对padding做mask操作？**
   答：在计算注意力分数时，使用mask操作将padding的部分设置为一个非常小的值（例如负无穷大），确保在计算softmax时，这些padding部分的注意力得分趋近于零。通常，mask是一个与输入形状相同的矩阵，使用相应的逻辑操作将padding位置的值遮蔽。

6. **为什么在进行多头注意力的时候需要对每个head进行降维？**
   答：在多头注意力中，通常会将每个注意力头的输出维度降到一个较低的值，这样可以有效地减少计算复杂度和内存占用，并且能够保持每个头的表达能力。通过降维，每个头可以专注于捕捉不同的特征，而在最后将所有头的输出拼接起来，以形成更丰富的表示。

7. **大概讲一下Transformer的Encoder模块？**
   答：Transformer的Encoder模块由多个相同的层堆叠而成，每层主要包含两个部分：多头自注意力机制和前馈神经网络。每个部分都有残差连接和LayerNorm。输入首先经过Embedding层，接着经过多个Encoder层，最后输出编码后的表示。这种结构使得模型能够在不同层次上捕捉输入的特征。

8. **为何在获取输入词向量之后需要对矩阵乘以embedding size的开方？意义是什么？**
   答：对输入词向量乘以embedding size的平方根是为了保持向量的标准差在训练过程中不变，从而确保在计算相似度时，数值的规模是合理的。这样做可以防止在训练初期，由于权重初始化带来的大方差问题，使得模型学习更为稳定。

9. **简单介绍一下Transformer的位置编码？有什么意义和优缺点？**
   答：位置编码是用来为输入序列中的单词提供位置信息的，它能够帮助模型理解单词之间的顺序。位置编码可以是固定的（如正弦和余弦函数）或可学习的。优点是它允许模型处理任意长度的序列；缺点是它可能限制模型的表示能力，因为固定位置编码无法适应不同上下文。

10. **你还了解哪些关于位置编码的技术，各自的优缺点是什么？**
    答：除了正弦和余弦函数的位置编码，还有可学习的位置编码和相对位置编码。可学习的位置编码在训练中自适应调整，可以更好地捕捉上下文信息，但会增加模型复杂度。相对位置编码则考虑了相对位置信息，更适合处理长序列，但实现起来较为复杂。

11. **简单讲一下Transformer中的残差结构以及意义。**
    答：残差结构是在每个子层（如自注意力和前馈网络）之后添加输入的快捷连接。它的意义在于缓解深层网络的训练难度，帮助模型更容易地学习到恒等映射，同时促进梯度传播，提高模型训练的稳定性和效果。

12. **为什么transformer块使用LayerNorm而不是BatchNorm？LayerNorm 在Transformer的位置是哪里？**
    答：Transformer使用LayerNorm而非BatchNorm是因为LayerNorm对每个样本独立进行归一化，适合变长输入序列的处理。而BatchNorm在序列建模中会受到批次大小和序列长度的影响，导致不稳定。LayerNorm通常放置在每个子层的输出之后，以保证每个子层的输入在统计上是稳定的。

13. **简答讲一下BatchNorm技术，以及它的优缺点。**
    答：BatchNorm是一种通过规范化每个小批次的输入，来提高神经网络训练速度和稳定性的方法。优点包括加速收敛、减少对学习率的敏感性；缺点则是对于小批量数据不适用，且在某些情况下会导致模型性能下降，尤其是在序列模型中。

14. **简单描述一下Transformer中的前馈神经网络？使用了什么激活函数？相关优缺点？**
    答：Transformer中的前馈神经网络通常由两个线性层和一个非线性激活函数（如ReLU）组成。输入首先经过线性层，再经过激活函数，最后再通过另一个线性层输出。优点是能够提高模型的非线性表达能力，但缺点是增加了计算复杂度。

15. **Encoder端和Decoder端是如何进行交互的？**
    答：Encoder端通过生成的上下文向量与Decoder端进行交互。具体来说，Decoder在生成每个单词时，会将Encoder的输出作为上下文信息，使用注意力机制（如Encoder-Decoder Attention）来聚焦于与当前生成单词相关的Encoder输出。

16. **Decoder阶段的多头自注意力和encoder的多头自注意力有什么区别？**
    答：Decoder阶段的多头自注意力需要进行序列mask操作，以防止模型在生成当前词时查看未来的词。而Encoder的多头自注意力则不需要mask，因为它可以同时看到输入序列的所有信息。

17. **Transformer的并行化提现在哪个地方？Decoder端可以做并行化吗？**
    答：Transformer的并行化主要体现在Encoder的多个层和多头注意力机制的并行计算上。Decoder端在生成序列时，由于需要依赖前一个时间步的输出，通常难以完全并行化，但在Decoder的每层内部仍可以进行并行处理。

18. **简单描述一下wordpiece model 和 byte pair encoding，有实际应用过吗？**
    答：WordPiece模型是一种将单词拆分为子词单元的分词方法，常用于BERT等模型；Byte Pair Encoding（BPE）是一种基于频率的子词分解算法，用于处理低频词和新词。两者都可以减少词汇表大小并提高模型的泛化能力。我自己没有直接应用过，但它们在许多自然语言处理任务中得到了广泛使用。

19. **Transformer训练的时候学习率是如何设定的？Dropout是如何设定的，位置在哪里？Dropout 在测试的需要有什么需要注意的吗？**
    答：Transformer训练时通常使用学习率调度器（如Warmup和学习率衰减）来设定学习率。Dropout一般设定为0.1左右，适用于多头注意力和前馈神经网络的层之间，以防止过拟合。在测试阶段，Dropout需关闭，以确保模型输出稳定。

20. **引申一个关于bert问题，bert的mask为何不学习transformer在attention处进行屏蔽score的技巧？**
    答：BERT的masking策略是为了训练模型在输入中缺失某些词时能够合理预测这些词。在BERT的架构中，遮蔽是通过输入时随机选定一些词进行屏蔽，而不是通过在attention中屏蔽score。这是因为BERT关注的是填空任务的效果而非单纯的注意力计算，旨在使模型更好地学习上下文关系。



## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.一对一的一小时咨询服务（49/次）

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

Transformer面试问

<image src="/static/img/9c7c797cf4963fe555555cdf3e3810b4.20230905_041215_9edd7163_w1920.webp" height="300px" width="100%">
    
    



<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>

>最近笔者波波自己也有在好好学习喔，你也不能落下，所以把自己汇总的资源分享给大家参考。
## 论文系列
https://blog.csdn.net/v_JULY_v/article/details/129508065

建议看这一篇。汇总了很多大厂经典论文。

## 项目系列
https://github.com/liguodongiot/llm-action

这个项目有9.9k的star。很适合大模型NLP学习者



## 细分领域资源



### 一、深度学习基础
主要掌握 深度学习的基础知识，了解神经网络的原理。

**动手学深度学习：**

三方应用: https://zh.d2l.ai/
 
**深度学习-花书 ：** 
https://github.com/ytin16/awesome-machine-learning-1/blob/master/Deep-Learning%E8%8A%B1%E4%B9%A6-%E3%80%8A%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E3%80%8B-%E4%B8%AD%E6%96%87%E7%89%88.pdf

### 二、Pytorch 框架

Pytorch 是大模型重要的框架 ，所有重要的模型都几乎采用Pytorch 实现，对此框架的掌握，有助于了解模型和编写模型代码，相关学习资料如下：

https://github.com/fendouai/PyTorchDocs
https://pytorch.org/tutorials/beginner/pytorch_with_examples.html

### 三、提示工程 （Prompt Engineer）
提示工程（PE）是与 AI 进行有效沟通已实现预期结果的过程。随着 AI 技术持续快速的发展，掌握提示工程技能变得尤为重要。提示工程技术可以应用于各种各样的任务，使其成为任何寻求提高日常和创新活动效率的人的有用工具。在数据集增强和对大模型调优阶段会大量涉及到提示工程方面的知识。
学习资料：

https://learnprompting.org/zh-Hans/docs/intro

### 四、进阶 - 算法 （位置编码/自注意力）
默认 transformer 起初采用的是绝对位置编码，但随着用户对大模型上下文和效率的追求，行业在不断改进，绝对位置编码依然淘汰。了解最新的位置编码算法对于认识当前大模型有很好的帮助。

**相关学习资料：**

**相对位置编码：**https://arxiv.org/abs/1803.02155

**ALiBi位置编码**：https://arxiv.org/abs/2108.12409

**Sandwich位置编码**：https://arxiv.org/abs/2106.12598


**旋转位置编码**：https://arxiv.org/abs/2104.09864

注意力是transformer很重要的一个概念，如果没有注意力的改进，大模型不会出现如此好的效率和智能，所以对注意力算法的了解也是至关重要
相关学习资料：

**自注意力机制（Self-Attention）**：https://arxiv.org/abs/1706.03762

**MQA （Multi-Query Attention）**：https://arxiv.org/abs/1911.02150

**GQA (Global Query Attention)** ：https://arxiv.org/abs/2002.09752

**MLA（Multi-head Latent Attention）** : https://arxiv.org/abs/2405.04434

**FlashAttention** : https://arxiv.org/abs/2205.14135

**PageAttention**：https://arxiv.org/abs/2205.09729


### 五、Embedding 模型与 RAG 


RAG (Retrieval-Augmented Generation) 是一种结合信息检索和生成的技术，旨在提升大语言模型（LLM）的准确率和性能，可以实现对模型的免微调进行知识的注入。

**RAG相关论文**

https://arxiv.org/abs/2310.01352
https://arxiv.org/abs/2305.02437
https://arxiv.org/abs/2401.15884
https://arxiv.org/abs/2310.11511


Embedding 模型将文本数据转换为高维向量表示，捕捉语义信息和相似性，广泛用于文本表示、信息检索、推荐系统等自然语言处理任务，提高模型性能和计算效率，一般我们用 Embedding 模型 进行RAG 检索。


**相关学习资料:**
https://arxiv.org/pdf/2309.07597
https://arxiv.org/pdf/2310.07554

 **Embedding 模型训练框架**
 
https://github.com/FlagOpen/FlagEmbedding


### 六、大模型预训练与微调

github 上关于LLM 训练和微调的一系列知识学习

https://github.com/mlabonne/llm-course

**训练框架学习：**

https://github.com/hiyouga/LLaMA-Factory


### 七、偏好学习（DPO/RLHF）

对于一些在微调阶段，模型一直做不好的问题，我们可以利用偏好学习算法来解决这样的问题，进一步对模型进行调优。
以下是关于偏好学习的一些重要方法和相关论文地址：

**DPO** (Direct Preference Optimization)
DPO是一种用于直接优化偏好数据的算法，通过将奖励函数转换为策略优化问题来简化模型的训练过程。相比传统的强化学习方法，它能够更稳定且高效地对齐语言模型与人类偏好。

**RLHF**: Reinforcement Learning with Human Feedback: Learning Dynamic Choices via Pessimism
RLHF是一种通过从人类反馈中学习奖励信号来训练模型的方法，常用于提升生成模型的对话质量和任务完成度。

**ORPO**: Optimized Reinforcement Preference Optimization
ORPO是一种结合了强化学习和偏好优化的方法，旨在通过优化奖励信号和策略来提升模型在偏好数据上的表现。

**KTO** (Kahneman-Tversky Optimization)
KTO是一种基于Kahneman-Tversky偏好模型的优化方法，通过考虑人类偏好的不对称性和不一致性来优化模型的表现。

### 八、高质量数据生成与处理
大模型这块，数据质量很重要，如何自动生成和筛选出高质量的数据对大模型来说至关重要。

**Self-Instruct**

Self-Instruct 是一种通过模型自身生成指令数据来对预训练语言模型进行对齐的方法。它旨在减少对人工注释数据的依赖，从而提高模型的指令跟随能力。
论文: Self-Instruct: Aligning Language Models with Self-Generated Instructions

**Evol-Instruct**
Evol-Instruct 是一种通过进化生成指令数据的方法，以提升语言模型在应对复杂任务时的表现。这个方法通过逐步演化和筛选高质量的指令数据，优化模型的指令理解和执行能力。
论文地址: https://arxiv.org/abs/2304.12244


**Instruct-Fusion**
Instruct-Fusion 结合多种指令数据源，通过融合多样化的训练数据来增强语言模型的指令跟随能力。这种方法可以提高模型在广泛任务上的泛化能力。
论文地址: https://arxiv.org/abs/2312.15692
 Magicoder: Source Code Is All You Need
论文地址: https://arxiv.org/abs/2312.02120


**Instruction-Following Difficulty** (IFD)
IFD 是一种评估指令样本难度的指标，通过计算模型在给定指令下生成响应的难度来衡量样本的挑战性。该指标可以帮助选择高质量的训练数据以提高模型的指令跟随能力。
论文: From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning

**Data-Efficient Instruction Tuning for Alignment (DEITA)**

DEITA 是一种通过高效的数据使用来对齐模型的方法，旨在使用最少量的数据实现最佳的指令跟随效果。通过精心选择和优化数据，DEITA 可以显著提高模型的性能。
论文地址：https://arxiv.org/abs/2312.15685


**Model-oriented Data Selection for Instruction Tuning (MoDS)**
MoDS 是一种面向模型的数据选择方法，旨在从大规模数据集中选择最有效的指令数据，以优化模型的指令跟随能力。该方法结合了质量评估、多样性选择和必要性评估来挑选数据。
论文: Model-oriented Data Selection for Instruction Tuning

### 九、大模型量化和高效推理
模型量化后可以极大的减少内存占用，可以在较小的显卡跑较大的模型，是一种模型部署的优化技术，对于大模型开发者来说，掌握必不可少。

**GPTQ** (Accurate Post-Training Quantization)
GPTQ 是一种用于生成预训练变换器（GPT）模型的高效量化方法。它利用近似的二阶信息进行量化，能够在保持模型精度的同时显著减少计算和存储需求。
论文: GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers

**GGUF** (Global Gradient Update Frequency)
目前关于 GGUF 的具体论文地址未找到，但它通常涉及在分布式深度学习训练中优化梯度更新频率，以提高训练效率和模型性能。建议查看相关领域的最新研究和预印本服务器。
学习地址：https://github.com/ggerganov/llama.cpp

**AWQ** (Adaptive Weight Quantization)
AWQ 是一种自适应权重量化方法，旨在通过对模型权重进行量化处理来减少计算开销和内存使用。该方法适用于大规模深度学习模型，在保持模型精度的同时，提高了计算效率。
论文: https://arxiv.org/abs/2306.00978



## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.一对一的一小时咨询服务（49/次）

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

AI大模型资源汇总

![成功的故事千篇一律300斤的胖子们各有各的传奇.jpg](/static/img/79f13b8855f1ba49af90591661a221c2.%C3%A6%C2%88%C2%90%C3%A5%C2%8A%C2%9F%C3%A7%C2%9A%C2%84%C3%A6%C2%95%C2%85%C3%A4%C2%BA%C2%8B%C3%A5%C2%8D%C2%83%C3%A7%C2%AF%C2%87%C3%A4%C2%B8%C2%80%C3%A5%C2%BE%C2%8B300%C3%A6%C2%96%C2%A4%C3%A7%C2%9A%C2%84%C3%A8%C2%83%C2%96%C3%A5%C2%AD%C2%90%C3%A4%C2%BB%C2%AC%C3%A5%C2%90%C2%84%C3%A6%C2%9C%C2%89%C3%A5%C2%90%C2%84%C3%A7%C2%9A%C2%84%C3%A4%C2%BC%C2%A0%C3%A5%C2%A5%C2%87.webp)



a
<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>
# VB-lora

**源码**：[https://github.com/leo-yangli/VB-LoRA](https://github.com/leo-yangli/VB-LoRA)

**论文**：[https://arxiv.org/abs/2405.15179](https://arxiv.org/abs/2405.15179)

## 背景

随着大型语言模型的采用增加以及对每个用户或每个任务模型定制的需求的增长，参数高效微调（PEFT）方法，例如低秩适应（LoRA）及其变体，会产生大量的费用。存储和传输成本。**为了进一步减少存储的参数**，**VB-LoRA** 引入了“分而共享”范例，通过向量库全局共享参数，打破了跨矩阵维度、模块和层的低秩分解的障碍。 **实现了极高的参数效率，同时保持了可比或更好的性能。**

## 方法论

**「LoRA局限性」** LoRA通过在模型的权重矩阵上添加低秩矩阵来调整模型参数，而不是更新整个权重矩阵。尽管LoRA减少了训练参数的数量，但它通常**只针对模型中每个权重矩阵单独进行低秩分解，没有实现跨矩阵、跨模块或跨层的参数共享**。

本文提出VB-LoRA方法，旨在减少可训练参数量，同时保持模型性能。该方法基础是**「“分而共享（divide-and-share）”」**范式

![](https://files.mdnice.com/user/72399/f6bd2310-1721-4b1f-a41e-94489635baa9.png)


**「分解（Divide）」** 目的是将LoRA中的低秩矩阵分解成更小的、可管理的组件。这是通过Rank-1分解的形式来实现的，即将一个大的矩阵分解为多个小的Rank-1矩阵的和。每个Rank-1矩阵由两个向量的外积组成，这两个向量分别对应于原始矩阵的行和列。通过这种方式，原始的大矩阵被分解为多个更小的向量，为下一步的共享做准备。

**「共享(Share)」** 该步骤是“分而共享（divide-and-share）”范式的核心，作者通过一个共享的向量库（Vector Bank），让模型中的不同部分共享相同的参数，从而减少整体参数数量。其中向量库中的向量被设计为可以跨多个子矩阵、模块和层复用。

**「向量选择」** 对于每个子向量，模型通过一个可学习的logits向量来选择向量库中最重要的k个向量。这个选择过程是通过一个softmax层来实现的，它将logits转换为概率分布，然后选择概率最高的k个向量，并将它们组合成子向量，这些子向量随后被用于构建模型的参数。

通俗一点就是，秩r=1分解降维。多个分解求和得到W

其中:  
u₁ = \[1, 1, 0, 1\]ᵀ v₁ = \[2, 1, 0\]  
u₂ = \[0, 1, 1, 0\]ᵀ v₂ = \[0, 2, 1\]

```plaintext
u₁v₁ᵀ = [2  1  0]
        [2  1  0]
        [0  0  0]
        [2  1  0]

u₂v₂ᵀ = [0  0  0]
        [0  2  1]
        [0  2  1]
        [0  0  0]

W = u₁v₁ᵀ + u₂v₂ᵀ = [2  1  0]
                    [2  3  1]
                    [0  2  1]
                    [2  1  0]
```

## 实验结果

作者使用了GLUE基准测试来评估VB-LoRA在不同自然语言理解任务上的性能。可以看到VB-LoRA在RoBERTa-Large模型上与其他PEFT方法相比，存储参数数量显著减少，但分数更高。

![](https://files.mdnice.com/user/72399/721665dd-dce0-470a-937e-79436d59ad27.png)


在自然语言生成任务中，本文使用了GPT-2 Medium和Large模型，并在E2E数据集上进行了微调。VB-LoRA在保持与VeRA相当或更好性能的同时，所需的存储参数数量更少。


![](https://files.mdnice.com/user/72399/6219a931-4e89-41d1-98f8-9d262c2b14c8.png)


对Llama2模型（7B和13B参数版本）进行微调，VB-LoRA在使用极少的存储参数（Llama2 7B为0.8M，Llama2 13B为1.1M）的情况下，实现了比LoRA更高的分数。


![](https://files.mdnice.com/user/72399/7fba3758-dae7-42c9-9fe4-60d88fa9f80d.png)


## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.一对一的一小时咨询服务（49/次）

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

VB-lora

<image src="/static/img/7cb02b28e33b85291438fc56ae0cd5f9.images.webp" height="300px" width="100%">
    


<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>

# 模型极限压缩论文笔记

这篇论文提出了一种极限压缩大语言模型（LLM）的方法，称为加性量化（Additive Quantization，AQ）。以下是这个量化方法的主要优势、之前方法的缺陷、算法原理以及实验结果：

### 链接
>https://arxiv.org/abs/2401.06118

## 量化方法的优势

1.  **极限压缩**：AQLM 可以在每个参数低至 2-3 位的情况下对模型进行压缩。它是第一个在这种极端压缩下依然保持精度和模型大小之间帕累托最优的方案，尤其是在 2 位量化方面表现突出。
    
2.  **精度和速度**：AQLM 在极低的位数下依然保持了高精度，并且在速度上可以匹配甚至超过优化过的 FP16 实现，同时占用更少的内存空间。
    
3.  **实用性**：AQLM 提供了 GPU 和 CPU 的高效实现，用于生成文本。它在速度上与浮点数基线相当，内存占用减少了多达 8 倍。
    


![](https://files.mdnice.com/user/72399/e2075889-7223-4ed1-9cfc-0b36b4cc1ad9.png)


## 之前的方法（AWQ,GPTQ,SPQR,QUIP）

1.  **精度损失**：现有方法在极端低比特率下会导致显著的精度下降，需要更复杂的实现和更高的运行时开销。
    
2.  **模型大小与精度的权衡**：低比特率压缩方法常常需要权衡模型大小和精度损失，这在 2 位范围内尤为明显。传统方法在处理 2 位量化时，实用性不如直接使用较小的基础模型并将其量化至更高比特率。
    

## 算法原理

AQLM 方法将加性量化应用到大语言模型的权重矩阵上，并在输入自适应的基础上进行学习，联合优化每个 Transformer 块中的码书参数。该方法基于经典的信息检索中的多码书量化（MCQ）技术：

1.  **学习加性量化**：权重矩阵通过加性量化的方式进行学习，使得量化后的权重矩阵输出可以近似地保持原来的输出。
    
2.  **联合优化**：对 Transformer 块中的码书参数进行联合优化，以减少量化误差。这种方法避免了需要对异常值进行独立量化，从而保持了简单的同构格式，易于实际应用。
    

具体的实现：

![](https://files.mdnice.com/user/72399/1e885776-3d26-4691-9489-c4659e79626c.png)


### 1. 预处理和初始化

*   **权重矩阵分解**：将模型的权重矩阵 WWW 分解为多个较小的矩阵，以便于进行量化。假设我们将权重矩阵分解为 KKK 个码书矩阵 CiC\_iCi​，使得 W≈∑i=1KCiW \approx \sum\_{i=1}^K C\_iW≈∑i=1K​Ci​。
    
*   **码书初始化**：每个码书矩阵 CiC\_iCi​ 都使用随机或其他策略进行初始化，以便后续的优化。
    

### 2. 训练阶段

*   **码书学习**：在训练过程中，通过反向传播和优化算法（如随机梯度下降），同时优化码书矩阵 CiC\_iCi​ 和原始模型的其余参数。目标是最小化量化误差和原始模型输出之间的差距。
    
*   **加性更新**：在每个训练步骤中，权重矩阵通过加性更新的方式更新，即 W′=∑i=1KCiW' = \sum\_{i=1}^K C\_iW′=∑i=1K​Ci​，不断调整码书矩阵以更好地逼近原始权重矩阵。
    
*   **误差反馈**：使用误差反馈机制，通过比较量化模型的输出和未量化模型的输出，指导码书矩阵的更新方向和幅度。
    

### 3. 量化阶段

*   **量化编码**：将训练好的码书矩阵进行编码，使其在给定的位宽（如 2 位或 3 位）内表示。每个码书矩阵的值映射到特定的量化级别，以减小表示的浮点数精度。
    
*   **联合优化**：通过联合优化技术，调整每个 Transformer 块的码书参数，使得整体模型在量化级别下的输出误差最小化。
    

## 实验结果

1.  **精度表现**：AQLM 在标准的 2-4 位压缩范围内的表现都优于之前的最优方法，尤其在极限的 2 位量化中有显著的提升。
    
2.  **性能提升**：AQLM 可以实现大约 30% 的 GPU 层级加速，并在 CPU 推理中达到高达 4 倍的加速。
    

综上所述，AQLM 通过引入加性量化和联合优化技术，实现了在极限压缩条件下依然保持高精度和性能的优势。

![](https://files.mdnice.com/user/72399/284f82ba-23f1-4314-8fc4-bdd9a0be3f14.png)


## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.一对一的一小时咨询服务（49/次）

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

模型极限压缩论文笔记

这里分享实用的项目经验、独到的面试技巧，以及对AI技术趋势的前瞻性思考，帮助你在AI领域找到自己的定位。一起探索，一起成长，一起破圈。