<image src="/static/img/b74fd499df1a1d6316e3f84fc68e9d29.image.webp" height=300px width=100%>



<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>


 >最近笔者波波准备换新工作了。面试是不可或缺的一环，在此之前我更新了我的简历。
 
 简历指导来源于 `国企HR南希姐`、`网易技术官`、`阿里AI算法`、`AI产品经理`，以及我的`直属领导、同事`。谢谢你们。
 
 简历更新后也是很满意，因此想从不同角度谈谈自己的理解。
 
 ## HR
 一份简历从你投递出去，到你参加面试。经历了什么？
 
 首先第一个看到它的人是HR。而不是你的技术面试官。HR可能并不会很懂技术，但是他们懂筛选。他们会基于面试官/技术指导给出的`关键词`进行筛选。这是第一个关键点
 
- 尽量把信息浓缩成关键词
 
 不要让信息太冗长,不宜提取关键信息.
 
 再者HR第二个注意到的是你的教育背景,你的学校级别,你的在校表现GPA,你的必修课程等信息.基于此初步判断你是否合适该岗位的JD.
 
 - 展现教育背景详细信息
 
 其次HR还会关注你的居住地 薪资要求.是否可以长期实习等.
 你应该清楚的知道,你是去公司创造价值的,而不是单方面学习.所以公司跟更需要一个拿来就能用的人,而不是培养期长,工作时间短的人.那这一方面就需要你优化.
 
 - 居住地点最好填写你投递的位置
 
 这里有一个浅价值,你就在本地,而且离公司进.对这个城市适应.或许可以长期实习.
 会给HR很靠谱的感觉,也就是前置信任了.
 
 - 薪资范围调整到小区间
 
 让人知道你是真的认真找工作,有明确的薪资要求,而不是简单的碰运气海投.
 
 - 减少没有意义的内容.
 
 有目的的填写你的简历,而不是有什么写什么
 
 基于以上几点改简历,可以让你最大概率避免直接被pass掉.
 
 ## 面试官
 
 HR审核好后,会交给技术官/面试官进行审核.他的关注点又有所不同了.
 
 面试官会更加关注你的技术,也就是`实习经历`以及`项目经历`
 
 ### 实习经历
 

 
  怎么写呢? 按照我的方法,包含两个板块.
  
  你在实习期间做了什么,`主要负责`哪一块的工作,给出细节,不要给人一种好像什么都做了的感觉,要突出重点,让你的面试官能够了解到你的定位.
  
  其次`业绩`怎么样? 做出了什么产品?交付怎么样?

### 项目经历

这个模块我建议以`总-分-总`的形式写.

首先`介绍项目`,产品是什么? 有什么功能?解决了什么问题?有什么价值?

其次,具体介绍在这个项目中你是什么角色.你负责什么内容?做了哪方面的事情?主要负责xxx,这一步可以突出你的`项目细节`.运用什么技术,有什么发现,你从中有哪些研究.解决了什么?

让项目有真实性,有亮点,让人觉得你真的参与进去了,而不是浮在产品技术表面

最后,对项目进行`总结`.讲讲项目价值,业绩等等.最好是附上项目连接.`体验网址/GitHub链接`等

### 技术自评

- 使用过 xxx
- 基本掌握 xxx
- 了解 xxx
- 熟练 xxx

实习岗不要写什么 `精通`

内容方面同样突出`关键词`,可以到Boss 脉脉等平台看JD


## 细节

- 技术岗位最好不要放照片
- 看个人优势来整理排版

(如我的教育背景差,那我就把教育板块放后面,把项目经历,实习经历前置.

- 关键词可以加粗,变颜色

- 尽量把内容浓缩到一页纸

- 删除冗长 杂乱信息,无意义的内容,非该岗位相关技术不要多写.(不要什么都会,要专注于xxx)

- 项目经历\实习经历多从面试官角度想,怎么才能让人看得舒服,眼前一亮,和别人拉开距离.(人无我有,人有我精)

- 学会借势.是否内容可以关联到市面上的热门产品xxx

- 准备多份简历,应对不同地区
 

#### 如果你还不修改简历,可以找我寻求帮助,相信我拥有的资源与知识可以帮到你

## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.【一对一的一小时咨询服务】（49/次）

找一群人一起走，慢慢变富。期待和同频的朋友一起蜕变！

3.【简历指导修改】(149/人)

设计多次修改优化.发掘你的潜在价值与内容.

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

被大厂HR、技术官指点简历后，我悟了！

![image.png](/static/img/807880d6466f93449f55ecea172c2ce8.image.webp)






https://arxiv.org/pdf/2309.00071.pdf   （YaRN: Efficient Context Window Extension of Large
Language Models。。。

https://arxiv.org/abs/2405.15179

https://arxiv.org/pdf/2406.11909

https://arxiv.org/abs/2406.01775

https://arxiv.org/pdf/2401.02731

https://arxiv.org/pdf/2409.04431

https://arxiv.org/pdf/2402.07148

https://arxiv.org/abs/2406.09117

https://arxiv.org/abs/2406.11909

https://arxiv.org/pdf/2402.10200

https://arxiv.org/abs/2409.12917

https://arxiv.org/abs/2408.13296v1

https://arxiv.org/html/2407.10969v1


https://arxiv.org/pdf/2404.03592

https://arxiv.org/pdf/2109.01903

https://arxiv.org/pdf/2310.11454

https://arxiv.org/abs/2401.06118

https://arxiv.org/pdf/2202.05262

https://arxiv.org/html/2406.07887v1

https://arxiv.org/abs/2410.10630

https://arxiv.org/pdf/2406.17642

https://arxiv.org/pdf/2112.08654

https://arxiv.org/abs/2405.07813

https://arxiv.org/abs/2403.13257

辉哥论文推荐（7.8-10.31）

<image src="/static/img/79f13b8855f1ba49af90591661a221c2.%C3%A6%C2%88%C2%90%C3%A5%C2%8A%C2%9F%C3%A7%C2%9A%C2%84%C3%A6%C2%95%C2%85%C3%A4%C2%BA%C2%8B%C3%A5%C2%8D%C2%83%C3%A7%C2%AF%C2%87%C3%A4%C2%B8%C2%80%C3%A5%C2%BE%C2%8B300%C3%A6%C2%96%C2%A4%C3%A7%C2%9A%C2%84%C3%A8%C2%83%C2%96%C3%A5%C2%AD%C2%90%C3%A4%C2%BB%C2%AC%C3%A5%C2%90%C2%84%C3%A6%C2%9C%C2%89%C3%A5%C2%90%C2%84%C3%A7%C2%9A%C2%84%C3%A4%C2%BC%C2%A0%C3%A5%C2%A5%C2%87.webp">


<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>


> 最近有小伙帮给我推荐了一个transformer的面试问，分享给大家

### 问题
1. Transformer为何使用多头注意力机制？
2. Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？
3. Transformer计算attention的时候为何选择点乘而不是加法？两者计算复杂度和效果上有什么区别？
4. 为什么在进行softmax之前需要对attention进行scaled（为什么除以dk的平方根），并使用公式推导进行讲解？
5. 在计算attention score的时候如何对padding做mask操作？
6. 为什么在进行多头注意力的时候需要对每个head进行降维？
7. 大概讲一下Transformer的Encoder模块？
8. 为何在获取输入词向量之后需要对矩阵乘以embedding size的开方？意义是什么？
9. 简单介绍一下Transformer的位置编码？有什么意义和优缺点？
10. 你还了解哪些关于位置编码的技术，各自的优缺点是什么？
11. 简单讲一下Transformer中的残差结构以及意义。
12. 为什么transformer块使用LayerNorm而不是BatchNorm？LayerNorm 在Transformer的位置是哪里？
13. 简答讲一下BatchNorm技术，以及它的优缺点。
14. 简单描述一下Transformer中的前馈神经网络？使用了什么激活函数？相关优缺点？
15. Encoder端和Decoder端是如何进行交互的？
16. Decoder阶段的多头自注意力和encoder的多头自注意力有什么区别？
17. Transformer的并行化提现在哪个地方？Decoder端可以做并行化吗？
18. 简单描述一下wordpiece model 和 byte pair encoding，有实际应用过吗？
19. Transformer训练的时候学习率是如何设定的？Dropout是如何设定的，位置在哪里？Dropout 在测试的需要有什么需要注意的吗？
20. 引申一个关于bert问题，bert的mask为何不学习transformer在attention处进行屏蔽score的技巧？

### 答案

1. **Transformer为何使用多头注意力机制？**
   答：多头注意力机制的主要目的是让模型在不同的子空间中学习信息，从而提高模型的表达能力。通过多个头，模型可以在不同的关注点上捕捉特征，比如词与词之间的不同关系。相较于单一注意力头，多头注意力可以更全面地理解输入序列的上下文信息。

2. **Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？**
   答：Q（查询）和K（键）使用不同的权重矩阵生成是为了让模型在计算注意力时能够在不同的表示空间中进行匹配。如果使用相同的权重矩阵，模型可能无法有效区分不同的查询和键，降低了学习灵活性和表达能力。不同的权重矩阵可以使得模型在处理相同输入时，能够得到不同的表示，从而进行更有效的匹配。

3. **Transformer计算attention的时候为何选择点乘而不是加法？两者计算复杂度和效果上有什么区别？**
   答：点乘运算比加法运算在计算复杂度上更高效，因为点乘在向量层面上操作，可以直接利用矩阵运算的优势。而且，点乘可以更好地反映相似度，因为它是通过对向量的方向性和大小进行量化的方式来判断相似性；而加法则不具备这种特性。因此，点乘在捕捉特征相似度方面更有效。

4. **为什么在进行softmax之前需要对attention进行scaled（为什么除以dk的平方根），并使用公式推导进行讲解？**
   答：在计算注意力分数时，由于点乘的数值可能会变得非常大，从而导致softmax函数的梯度过小，影响训练效果。因此，将点乘结果除以 \( \sqrt{d_k} \) 可以防止这种情况。推导如下：
   \[
   \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
   \]
   这里，\( d_k \) 是键的维度，通过缩放点乘结果，使得softmax的输入值更加平滑，避免数值过大或过小的问题。

5. **在计算attention score的时候如何对padding做mask操作？**
   答：在计算注意力分数时，使用mask操作将padding的部分设置为一个非常小的值（例如负无穷大），确保在计算softmax时，这些padding部分的注意力得分趋近于零。通常，mask是一个与输入形状相同的矩阵，使用相应的逻辑操作将padding位置的值遮蔽。

6. **为什么在进行多头注意力的时候需要对每个head进行降维？**
   答：在多头注意力中，通常会将每个注意力头的输出维度降到一个较低的值，这样可以有效地减少计算复杂度和内存占用，并且能够保持每个头的表达能力。通过降维，每个头可以专注于捕捉不同的特征，而在最后将所有头的输出拼接起来，以形成更丰富的表示。

7. **大概讲一下Transformer的Encoder模块？**
   答：Transformer的Encoder模块由多个相同的层堆叠而成，每层主要包含两个部分：多头自注意力机制和前馈神经网络。每个部分都有残差连接和LayerNorm。输入首先经过Embedding层，接着经过多个Encoder层，最后输出编码后的表示。这种结构使得模型能够在不同层次上捕捉输入的特征。

8. **为何在获取输入词向量之后需要对矩阵乘以embedding size的开方？意义是什么？**
   答：对输入词向量乘以embedding size的平方根是为了保持向量的标准差在训练过程中不变，从而确保在计算相似度时，数值的规模是合理的。这样做可以防止在训练初期，由于权重初始化带来的大方差问题，使得模型学习更为稳定。

9. **简单介绍一下Transformer的位置编码？有什么意义和优缺点？**
   答：位置编码是用来为输入序列中的单词提供位置信息的，它能够帮助模型理解单词之间的顺序。位置编码可以是固定的（如正弦和余弦函数）或可学习的。优点是它允许模型处理任意长度的序列；缺点是它可能限制模型的表示能力，因为固定位置编码无法适应不同上下文。

10. **你还了解哪些关于位置编码的技术，各自的优缺点是什么？**
    答：除了正弦和余弦函数的位置编码，还有可学习的位置编码和相对位置编码。可学习的位置编码在训练中自适应调整，可以更好地捕捉上下文信息，但会增加模型复杂度。相对位置编码则考虑了相对位置信息，更适合处理长序列，但实现起来较为复杂。

11. **简单讲一下Transformer中的残差结构以及意义。**
    答：残差结构是在每个子层（如自注意力和前馈网络）之后添加输入的快捷连接。它的意义在于缓解深层网络的训练难度，帮助模型更容易地学习到恒等映射，同时促进梯度传播，提高模型训练的稳定性和效果。

12. **为什么transformer块使用LayerNorm而不是BatchNorm？LayerNorm 在Transformer的位置是哪里？**
    答：Transformer使用LayerNorm而非BatchNorm是因为LayerNorm对每个样本独立进行归一化，适合变长输入序列的处理。而BatchNorm在序列建模中会受到批次大小和序列长度的影响，导致不稳定。LayerNorm通常放置在每个子层的输出之后，以保证每个子层的输入在统计上是稳定的。

13. **简答讲一下BatchNorm技术，以及它的优缺点。**
    答：BatchNorm是一种通过规范化每个小批次的输入，来提高神经网络训练速度和稳定性的方法。优点包括加速收敛、减少对学习率的敏感性；缺点则是对于小批量数据不适用，且在某些情况下会导致模型性能下降，尤其是在序列模型中。

14. **简单描述一下Transformer中的前馈神经网络？使用了什么激活函数？相关优缺点？**
    答：Transformer中的前馈神经网络通常由两个线性层和一个非线性激活函数（如ReLU）组成。输入首先经过线性层，再经过激活函数，最后再通过另一个线性层输出。优点是能够提高模型的非线性表达能力，但缺点是增加了计算复杂度。

15. **Encoder端和Decoder端是如何进行交互的？**
    答：Encoder端通过生成的上下文向量与Decoder端进行交互。具体来说，Decoder在生成每个单词时，会将Encoder的输出作为上下文信息，使用注意力机制（如Encoder-Decoder Attention）来聚焦于与当前生成单词相关的Encoder输出。

16. **Decoder阶段的多头自注意力和encoder的多头自注意力有什么区别？**
    答：Decoder阶段的多头自注意力需要进行序列mask操作，以防止模型在生成当前词时查看未来的词。而Encoder的多头自注意力则不需要mask，因为它可以同时看到输入序列的所有信息。

17. **Transformer的并行化提现在哪个地方？Decoder端可以做并行化吗？**
    答：Transformer的并行化主要体现在Encoder的多个层和多头注意力机制的并行计算上。Decoder端在生成序列时，由于需要依赖前一个时间步的输出，通常难以完全并行化，但在Decoder的每层内部仍可以进行并行处理。

18. **简单描述一下wordpiece model 和 byte pair encoding，有实际应用过吗？**
    答：WordPiece模型是一种将单词拆分为子词单元的分词方法，常用于BERT等模型；Byte Pair Encoding（BPE）是一种基于频率的子词分解算法，用于处理低频词和新词。两者都可以减少词汇表大小并提高模型的泛化能力。我自己没有直接应用过，但它们在许多自然语言处理任务中得到了广泛使用。

19. **Transformer训练的时候学习率是如何设定的？Dropout是如何设定的，位置在哪里？Dropout 在测试的需要有什么需要注意的吗？**
    答：Transformer训练时通常使用学习率调度器（如Warmup和学习率衰减）来设定学习率。Dropout一般设定为0.1左右，适用于多头注意力和前馈神经网络的层之间，以防止过拟合。在测试阶段，Dropout需关闭，以确保模型输出稳定。

20. **引申一个关于bert问题，bert的mask为何不学习transformer在attention处进行屏蔽score的技巧？**
    答：BERT的masking策略是为了训练模型在输入中缺失某些词时能够合理预测这些词。在BERT的架构中，遮蔽是通过输入时随机选定一些词进行屏蔽，而不是通过在attention中屏蔽score。这是因为BERT关注的是填空任务的效果而非单纯的注意力计算，旨在使模型更好地学习上下文关系。



## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.一对一的一小时咨询服务（49/次）

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

Transformer面试问

<image src="/static/img/9c7c797cf4963fe555555cdf3e3810b4.20230905_041215_9edd7163_w1920.webp" height="300px" width="100%">
    
    



<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>

>最近笔者波波自己也有在好好学习喔，你也不能落下，所以把自己汇总的资源分享给大家参考。
## 论文系列
https://blog.csdn.net/v_JULY_v/article/details/129508065

建议看这一篇。汇总了很多大厂经典论文。

## 项目系列
https://github.com/liguodongiot/llm-action

这个项目有9.9k的star。很适合大模型NLP学习者



## 细分领域资源



### 一、深度学习基础
主要掌握 深度学习的基础知识，了解神经网络的原理。

**动手学深度学习：**

三方应用: https://zh.d2l.ai/
 
**深度学习-花书 ：** 
https://github.com/ytin16/awesome-machine-learning-1/blob/master/Deep-Learning%E8%8A%B1%E4%B9%A6-%E3%80%8A%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E3%80%8B-%E4%B8%AD%E6%96%87%E7%89%88.pdf

### 二、Pytorch 框架

Pytorch 是大模型重要的框架 ，所有重要的模型都几乎采用Pytorch 实现，对此框架的掌握，有助于了解模型和编写模型代码，相关学习资料如下：

https://github.com/fendouai/PyTorchDocs
https://pytorch.org/tutorials/beginner/pytorch_with_examples.html

### 三、提示工程 （Prompt Engineer）
提示工程（PE）是与 AI 进行有效沟通已实现预期结果的过程。随着 AI 技术持续快速的发展，掌握提示工程技能变得尤为重要。提示工程技术可以应用于各种各样的任务，使其成为任何寻求提高日常和创新活动效率的人的有用工具。在数据集增强和对大模型调优阶段会大量涉及到提示工程方面的知识。
学习资料：

https://learnprompting.org/zh-Hans/docs/intro

### 四、进阶 - 算法 （位置编码/自注意力）
默认 transformer 起初采用的是绝对位置编码，但随着用户对大模型上下文和效率的追求，行业在不断改进，绝对位置编码依然淘汰。了解最新的位置编码算法对于认识当前大模型有很好的帮助。

**相关学习资料：**

**相对位置编码：**https://arxiv.org/abs/1803.02155

**ALiBi位置编码**：https://arxiv.org/abs/2108.12409

**Sandwich位置编码**：https://arxiv.org/abs/2106.12598


**旋转位置编码**：https://arxiv.org/abs/2104.09864

注意力是transformer很重要的一个概念，如果没有注意力的改进，大模型不会出现如此好的效率和智能，所以对注意力算法的了解也是至关重要
相关学习资料：

**自注意力机制（Self-Attention）**：https://arxiv.org/abs/1706.03762

**MQA （Multi-Query Attention）**：https://arxiv.org/abs/1911.02150

**GQA (Global Query Attention)** ：https://arxiv.org/abs/2002.09752

**MLA（Multi-head Latent Attention）** : https://arxiv.org/abs/2405.04434

**FlashAttention** : https://arxiv.org/abs/2205.14135

**PageAttention**：https://arxiv.org/abs/2205.09729


### 五、Embedding 模型与 RAG 


RAG (Retrieval-Augmented Generation) 是一种结合信息检索和生成的技术，旨在提升大语言模型（LLM）的准确率和性能，可以实现对模型的免微调进行知识的注入。

**RAG相关论文**

https://arxiv.org/abs/2310.01352
https://arxiv.org/abs/2305.02437
https://arxiv.org/abs/2401.15884
https://arxiv.org/abs/2310.11511


Embedding 模型将文本数据转换为高维向量表示，捕捉语义信息和相似性，广泛用于文本表示、信息检索、推荐系统等自然语言处理任务，提高模型性能和计算效率，一般我们用 Embedding 模型 进行RAG 检索。


**相关学习资料:**
https://arxiv.org/pdf/2309.07597
https://arxiv.org/pdf/2310.07554

 **Embedding 模型训练框架**
 
https://github.com/FlagOpen/FlagEmbedding


### 六、大模型预训练与微调

github 上关于LLM 训练和微调的一系列知识学习

https://github.com/mlabonne/llm-course

**训练框架学习：**

https://github.com/hiyouga/LLaMA-Factory


### 七、偏好学习（DPO/RLHF）

对于一些在微调阶段，模型一直做不好的问题，我们可以利用偏好学习算法来解决这样的问题，进一步对模型进行调优。
以下是关于偏好学习的一些重要方法和相关论文地址：

**DPO** (Direct Preference Optimization)
DPO是一种用于直接优化偏好数据的算法，通过将奖励函数转换为策略优化问题来简化模型的训练过程。相比传统的强化学习方法，它能够更稳定且高效地对齐语言模型与人类偏好。

**RLHF**: Reinforcement Learning with Human Feedback: Learning Dynamic Choices via Pessimism
RLHF是一种通过从人类反馈中学习奖励信号来训练模型的方法，常用于提升生成模型的对话质量和任务完成度。

**ORPO**: Optimized Reinforcement Preference Optimization
ORPO是一种结合了强化学习和偏好优化的方法，旨在通过优化奖励信号和策略来提升模型在偏好数据上的表现。

**KTO** (Kahneman-Tversky Optimization)
KTO是一种基于Kahneman-Tversky偏好模型的优化方法，通过考虑人类偏好的不对称性和不一致性来优化模型的表现。

### 八、高质量数据生成与处理
大模型这块，数据质量很重要，如何自动生成和筛选出高质量的数据对大模型来说至关重要。

**Self-Instruct**

Self-Instruct 是一种通过模型自身生成指令数据来对预训练语言模型进行对齐的方法。它旨在减少对人工注释数据的依赖，从而提高模型的指令跟随能力。
论文: Self-Instruct: Aligning Language Models with Self-Generated Instructions

**Evol-Instruct**
Evol-Instruct 是一种通过进化生成指令数据的方法，以提升语言模型在应对复杂任务时的表现。这个方法通过逐步演化和筛选高质量的指令数据，优化模型的指令理解和执行能力。
论文地址: https://arxiv.org/abs/2304.12244


**Instruct-Fusion**
Instruct-Fusion 结合多种指令数据源，通过融合多样化的训练数据来增强语言模型的指令跟随能力。这种方法可以提高模型在广泛任务上的泛化能力。
论文地址: https://arxiv.org/abs/2312.15692
 Magicoder: Source Code Is All You Need
论文地址: https://arxiv.org/abs/2312.02120


**Instruction-Following Difficulty** (IFD)
IFD 是一种评估指令样本难度的指标，通过计算模型在给定指令下生成响应的难度来衡量样本的挑战性。该指标可以帮助选择高质量的训练数据以提高模型的指令跟随能力。
论文: From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning

**Data-Efficient Instruction Tuning for Alignment (DEITA)**

DEITA 是一种通过高效的数据使用来对齐模型的方法，旨在使用最少量的数据实现最佳的指令跟随效果。通过精心选择和优化数据，DEITA 可以显著提高模型的性能。
论文地址：https://arxiv.org/abs/2312.15685


**Model-oriented Data Selection for Instruction Tuning (MoDS)**
MoDS 是一种面向模型的数据选择方法，旨在从大规模数据集中选择最有效的指令数据，以优化模型的指令跟随能力。该方法结合了质量评估、多样性选择和必要性评估来挑选数据。
论文: Model-oriented Data Selection for Instruction Tuning

### 九、大模型量化和高效推理
模型量化后可以极大的减少内存占用，可以在较小的显卡跑较大的模型，是一种模型部署的优化技术，对于大模型开发者来说，掌握必不可少。

**GPTQ** (Accurate Post-Training Quantization)
GPTQ 是一种用于生成预训练变换器（GPT）模型的高效量化方法。它利用近似的二阶信息进行量化，能够在保持模型精度的同时显著减少计算和存储需求。
论文: GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers

**GGUF** (Global Gradient Update Frequency)
目前关于 GGUF 的具体论文地址未找到，但它通常涉及在分布式深度学习训练中优化梯度更新频率，以提高训练效率和模型性能。建议查看相关领域的最新研究和预印本服务器。
学习地址：https://github.com/ggerganov/llama.cpp

**AWQ** (Adaptive Weight Quantization)
AWQ 是一种自适应权重量化方法，旨在通过对模型权重进行量化处理来减少计算开销和内存使用。该方法适用于大规模深度学习模型，在保持模型精度的同时，提高了计算效率。
论文: https://arxiv.org/abs/2306.00978



## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.一对一的一小时咨询服务（49/次）

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

AI大模型资源汇总

![成功的故事千篇一律300斤的胖子们各有各的传奇.jpg](/static/img/79f13b8855f1ba49af90591661a221c2.%C3%A6%C2%88%C2%90%C3%A5%C2%8A%C2%9F%C3%A7%C2%9A%C2%84%C3%A6%C2%95%C2%85%C3%A4%C2%BA%C2%8B%C3%A5%C2%8D%C2%83%C3%A7%C2%AF%C2%87%C3%A4%C2%B8%C2%80%C3%A5%C2%BE%C2%8B300%C3%A6%C2%96%C2%A4%C3%A7%C2%9A%C2%84%C3%A8%C2%83%C2%96%C3%A5%C2%AD%C2%90%C3%A4%C2%BB%C2%AC%C3%A5%C2%90%C2%84%C3%A6%C2%9C%C2%89%C3%A5%C2%90%C2%84%C3%A7%C2%9A%C2%84%C3%A4%C2%BC%C2%A0%C3%A5%C2%A5%C2%87.webp)



a
<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>
# VB-lora

**源码**：[https://github.com/leo-yangli/VB-LoRA](https://github.com/leo-yangli/VB-LoRA)

**论文**：[https://arxiv.org/abs/2405.15179](https://arxiv.org/abs/2405.15179)

## 背景

随着大型语言模型的采用增加以及对每个用户或每个任务模型定制的需求的增长，参数高效微调（PEFT）方法，例如低秩适应（LoRA）及其变体，会产生大量的费用。存储和传输成本。**为了进一步减少存储的参数**，**VB-LoRA** 引入了“分而共享”范例，通过向量库全局共享参数，打破了跨矩阵维度、模块和层的低秩分解的障碍。 **实现了极高的参数效率，同时保持了可比或更好的性能。**

## 方法论

**「LoRA局限性」** LoRA通过在模型的权重矩阵上添加低秩矩阵来调整模型参数，而不是更新整个权重矩阵。尽管LoRA减少了训练参数的数量，但它通常**只针对模型中每个权重矩阵单独进行低秩分解，没有实现跨矩阵、跨模块或跨层的参数共享**。

本文提出VB-LoRA方法，旨在减少可训练参数量，同时保持模型性能。该方法基础是**「“分而共享（divide-and-share）”」**范式

![](https://files.mdnice.com/user/72399/f6bd2310-1721-4b1f-a41e-94489635baa9.png)


**「分解（Divide）」** 目的是将LoRA中的低秩矩阵分解成更小的、可管理的组件。这是通过Rank-1分解的形式来实现的，即将一个大的矩阵分解为多个小的Rank-1矩阵的和。每个Rank-1矩阵由两个向量的外积组成，这两个向量分别对应于原始矩阵的行和列。通过这种方式，原始的大矩阵被分解为多个更小的向量，为下一步的共享做准备。

**「共享(Share)」** 该步骤是“分而共享（divide-and-share）”范式的核心，作者通过一个共享的向量库（Vector Bank），让模型中的不同部分共享相同的参数，从而减少整体参数数量。其中向量库中的向量被设计为可以跨多个子矩阵、模块和层复用。

**「向量选择」** 对于每个子向量，模型通过一个可学习的logits向量来选择向量库中最重要的k个向量。这个选择过程是通过一个softmax层来实现的，它将logits转换为概率分布，然后选择概率最高的k个向量，并将它们组合成子向量，这些子向量随后被用于构建模型的参数。

通俗一点就是，秩r=1分解降维。多个分解求和得到W

其中:  
u₁ = \[1, 1, 0, 1\]ᵀ v₁ = \[2, 1, 0\]  
u₂ = \[0, 1, 1, 0\]ᵀ v₂ = \[0, 2, 1\]

```plaintext
u₁v₁ᵀ = [2  1  0]
        [2  1  0]
        [0  0  0]
        [2  1  0]

u₂v₂ᵀ = [0  0  0]
        [0  2  1]
        [0  2  1]
        [0  0  0]

W = u₁v₁ᵀ + u₂v₂ᵀ = [2  1  0]
                    [2  3  1]
                    [0  2  1]
                    [2  1  0]
```

## 实验结果

作者使用了GLUE基准测试来评估VB-LoRA在不同自然语言理解任务上的性能。可以看到VB-LoRA在RoBERTa-Large模型上与其他PEFT方法相比，存储参数数量显著减少，但分数更高。

![](https://files.mdnice.com/user/72399/721665dd-dce0-470a-937e-79436d59ad27.png)


在自然语言生成任务中，本文使用了GPT-2 Medium和Large模型，并在E2E数据集上进行了微调。VB-LoRA在保持与VeRA相当或更好性能的同时，所需的存储参数数量更少。


![](https://files.mdnice.com/user/72399/6219a931-4e89-41d1-98f8-9d262c2b14c8.png)


对Llama2模型（7B和13B参数版本）进行微调，VB-LoRA在使用极少的存储参数（Llama2 7B为0.8M，Llama2 13B为1.1M）的情况下，实现了比LoRA更高的分数。


![](https://files.mdnice.com/user/72399/7fba3758-dae7-42c9-9fe4-60d88fa9f80d.png)


## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.一对一的一小时咨询服务（49/次）

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

VB-lora

这里分享实用的项目经验、独到的面试技巧，以及对AI技术趋势的前瞻性思考，帮助你在AI领域找到自己的定位。一起探索，一起成长，一起破圈。