#  

![AI时代来临计算机程序员该怎么走好这条路.jpg](/static/img/59412fc4f14167db3d36136fc7407653.AI%C3%A6%C2%97%C2%B6%C3%A4%C2%BB%C2%A3%C3%A6%C2%9D%C2%A5%C3%A4%C2%B8%C2%B4%C3%A8%C2%AE%C2%A1%C3%A7%C2%AE%C2%97%C3%A6%C2%9C%C2%BA%C3%A7%C2%A8%C2%8B%C3%A5%C2%BA%C2%8F%C3%A5%C2%91%C2%98%C3%A8%C2%AF%C2%A5%C3%A6%C2%80%C2%8E%C3%A4%C2%B9%C2%88%C3%A8%C2%B5%C2%B0%C3%A5%C2%A5%C2%BD%C3%A8%C2%BF%C2%99%C3%A6%C2%9D%C2%A1%C3%A8%C2%B7%C2%AF.webp)




> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>
>
  # AI时代来临，计算机程序员该怎么走好这条路
  
作为一个人工智能方向的AI程序员。

  

我经历了从ChatGPT的产生，到midjourney，Gemini，GPT-4o等AI大模型的出现。ai的能力已经从单纯的语言走向了图像，视频，语音等功能。相信各行各业的朋友都或多或少受到影响。

  


![image.png](/static/img/c33f7a710940eb39953d38470b76bbcc.image.webp)
  

有人欢喜，有人忧虑。欢喜在于你可以使用它提高你的工作效率，绩效。忧虑在于你可能会认为你的工作会被它替代，而丢了饭碗。

  

但我觉得这些担忧，在你看完这篇文章之后，可以得到很大的缓解。

  

分享一个我从小白走向AI程序员这一过程中的感想:

  

AI绝不会替代一个行业，他只会优化加速这个行业的发展。它只会淘汰掉那些不会使用AI提效的人。

  

  

所以跟进时代发展，才能不被时代淘汰。

  

  

  

接下来我将用我的亲身经历与感受与你分享该怎么去做

  

  

## 1.跟进前沿技术发展。

  

当一个新生的技术或者新产品出现在你的行业时，你需要去体验它，去了解它的使用方法。去跟进这项技术。

  

这并不是什么难事，你不需要去了解它的底层是怎样的，只需要会使用它就行了。因为技术是一直迭代的，技术是学不完的。

  

你需要做的是突破原有的技术屏障，不要固守在自己所拥有的技术上。

  

时刻跟进前沿技术发展，走在前沿。才不会被淘汰。

  

  

  

## 2.永远不要只埋头苦干。

  

前几天看到一篇文章《只有穷人才整天痴迷于技术》。很有感触，借此跟大家分享一下。

  

那些全身心投入技术的人，常常无异于牛马，或者更准确地说，成了劳作的工具。这些“牛马”们，无一例外，都面临着打工或被剥削的命运。

  

脱离纯技术的固执思维，探索更深层次的东西，如人性和商业操作的根本逻辑，是独立赚钱的关键。

  

不管什么技术都不是简简单单能做到的，花了时间精力去做之后你只能达到认知水平中的最高，实际抬眼望去
却犹如井底之蛙，还是没有不可替代性，然后只能感叹命运不公了。

  

那些做到极致的的人很少，那只能是前1%的那一批人。目前职场确实就这样，努力学技术还不如会吹牛，反正都是草台班子，哪都一样。

  

当然这并不是说学技术不重要。而是说不能只学技术。学习技术的同时，你需要去链接，去加入相关的组织和一些高能量的群体，向上交往。去寻找你的贵人，从他们身上获取有益于你的资源，助力你的发展。

  

  

## 3.程序员+自媒体之路。

  

这是一条怎样的道路呢？

  

指的是，  在自我学习和找工作的过程中，分享自己的项目经历和经验心得，以及自己对新鲜事物与技术的一些想法看法，分享到自己的自媒体平台。

  

为什么要这么做呢？因为空有一身技术是不行的，你还要被人发现，被人任用。你需要像销售一样把自己当成一个产品推销出去。只有别人发现你对他有很大的价值之后，你才会被任用。

  

这个过程中你需要用知识、用技术、用项目经历、用你的自媒体账号，来打造一个强有力的IP。只有这样，公司、社会需要你这样的人才之时，他们通过这种途径能够了解你，发现你，你才会被得到重用。

  

所以大胆去做，大胆去分享。  让自己所做的事情和想法让更多人看到。

  

  

最后希望所有人都能拿到满意的工作。

  

有方向，不迷茫！

  

##  Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 🎫99💰/年。

2.【AI+老人回忆录制作】正在运营，有需求 或者 想加入 可微信私聊。

3.【语音咨询】：99💰/小时

群里分享讨论:

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

扫码加微信，链接不迷路！

![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/08/07/1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.jpg)

AI时代来临，计算机程序员该怎么走好这条路？

![AI技术发展变的是数据来源没变的是数据质量.jpg](/static/img/06e38194c4685d0f214bbaf3463350ea.AI%C3%A6%C2%8A%C2%80%C3%A6%C2%9C%C2%AF%C3%A5%C2%8F%C2%91%C3%A5%C2%B1%C2%95%C3%A5%C2%8F%C2%98%C3%A7%C2%9A%C2%84%C3%A6%C2%98%C2%AF%C3%A6%C2%95%C2%B0%C3%A6%C2%8D%C2%AE%C3%A6%C2%9D%C2%A5%C3%A6%C2%BA%C2%90%C3%A6%C2%B2%C2%A1%C3%A5%C2%8F%C2%98%C3%A7%C2%9A%C2%84%C3%A6%C2%98%C2%AF%C3%A6%C2%95%C2%B0%C3%A6%C2%8D%C2%AE%C3%A8%C2%B4%C2%A8%C3%A9%C2%87%C2%8F.webp)



> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>
>
  
# 变的是数据来源，没变的是数据质量


今天偶让看到一段讲的很不错的话，分享给大家

  

#  变的是数据来源，没变的是数据质量

> 需求一直在那里，但是一直没被满足好。

以前的数据散落在各处，就像大众点评上找餐厅，我们通过搜索引擎获得了一些坐标，并前往去寻找。

**现在的数据则被汇聚到了模型里，就像一个中央厨房，我们可以随时打开一份预制菜，在家食用。**

**但是预制菜单，就是不太新鲜，所以我们做了定期更新RAG，MT AI 预训练，获取新鲜的实时信息。**

大到金融、医疗，小到生活百科，我们的需求一直是高质量的数据，高质量的信息。但需求从未被满足。不管是模型预训练的数据，SFT的数据，还是RAG的数据，质量都是第一性原理。

> 好数据出好结果，没有捷径，从未改变。

前几天和一位朋友事吃饭，他说了一句金句

> 最近的 AI 资讯真是噪音。

**原因是 AI 技术的进展很小，可用性也不高，关注这样的资讯，反而不如花时间深度思考和执行** 。

这句话其实得很多人的共鸣。

本质是因为每个人所需要的好数据也是不同的。

自己不需要的信息，其实就是噪音。

人们需要的从来不是那么多信息，而是自己关心的信息。

**如果 AI 对你的兴趣有足够多足深的了解，就会成为比推荐算法更强的推荐引擎。**

**需求如山，而山，一直在那里。**

##  Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 🎫99💰/年。

2.【AI+老人回忆录制作】正在运营，有需求 或者 想加入 可微信私聊。

3.【语音咨询】：99💰/小时

群里分享讨论:

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

扫码加微信，链接不迷路！

![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/08/07/1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.jpg)

变的是数据来源，没变的是数据质量

![image.png](/static/img/aa27f4aee6c33c3b8745e036f9b43690.image.webp)



# 模型极限压缩论文笔记

这篇论文提出了一种极限压缩大语言模型（LLM）的方法，称为加性量化（Additive Quantization，AQ）。以下是这个量化方法的主要优势、之前方法的缺陷、算法原理以及实验结果：

## 量化方法的优势

1.  **极限压缩**：AQLM 可以在每个参数低至 2-3 位的情况下对模型进行压缩。它是第一个在这种极端压缩下依然保持精度和模型大小之间帕累托最优的方案，尤其是在 2 位量化方面表现突出。
    
2.  **精度和速度**：AQLM 在极低的位数下依然保持了高精度，并且在速度上可以匹配甚至超过优化过的 FP16 实现，同时占用更少的内存空间。
    
3.  **实用性**：AQLM 提供了 GPU 和 CPU 的高效实现，用于生成文本。它在速度上与浮点数基线相当，内存占用减少了多达 8 倍。
    
![image.png](/static/img/68d294be461b4917b2481c33cb3a9650.image.webp)

## 之前的方法（AWQ,GPTQ,SPQR,QUIP）

1.  **精度损失**：现有方法在极端低比特率下会导致显著的精度下降，需要更复杂的实现和更高的运行时开销。
    
2.  **模型大小与精度的权衡**：低比特率压缩方法常常需要权衡模型大小和精度损失，这在 2 位范围内尤为明显。传统方法在处理 2 位量化时，实用性不如直接使用较小的基础模型并将其量化至更高比特率。
    

## 算法原理

AQLM 方法将加性量化应用到大语言模型的权重矩阵上，并在输入自适应的基础上进行学习，联合优化每个 Transformer 块中的码书参数。该方法基于经典的信息检索中的多码书量化（MCQ）技术：

1.  **学习加性量化**：权重矩阵通过加性量化的方式进行学习，使得量化后的权重矩阵输出可以近似地保持原来的输出。
    
2.  **联合优化**：对 Transformer 块中的码书参数进行联合优化，以减少量化误差。这种方法避免了需要对异常值进行独立量化，从而保持了简单的同构格式，易于实际应用。
    

具体的实现：

![image.png](/static/img/aa27f4aee6c33c3b8745e036f9b43690.image.webp)

### 1. 预处理和初始化

*   **权重矩阵分解**：将模型的权重矩阵 WWW 分解为多个较小的矩阵，以便于进行量化。假设我们将权重矩阵分解为 KKK 个码书矩阵 CiC\_iCi​，使得 W≈∑i=1KCiW \approx \sum\_{i=1}^K C\_iW≈∑i=1K​Ci​。
    
*   **码书初始化**：每个码书矩阵 CiC\_iCi​ 都使用随机或其他策略进行初始化，以便后续的优化。
    

### 2. 训练阶段

*   **码书学习**：在训练过程中，通过反向传播和优化算法（如随机梯度下降），同时优化码书矩阵 CiC\_iCi​ 和原始模型的其余参数。目标是最小化量化误差和原始模型输出之间的差距。
    
*   **加性更新**：在每个训练步骤中，权重矩阵通过加性更新的方式更新，即 W′=∑i=1KCiW' = \sum\_{i=1}^K C\_iW′=∑i=1K​Ci​，不断调整码书矩阵以更好地逼近原始权重矩阵。
    
*   **误差反馈**：使用误差反馈机制，通过比较量化模型的输出和未量化模型的输出，指导码书矩阵的更新方向和幅度。
    

### 3. 量化阶段

*   **量化编码**：将训练好的码书矩阵进行编码，使其在给定的位宽（如 2 位或 3 位）内表示。每个码书矩阵的值映射到特定的量化级别，以减小表示的浮点数精度。
    
*   **联合优化**：通过联合优化技术，调整每个 Transformer 块的码书参数，使得整体模型在量化级别下的输出误差最小化。
    

## 实验结果

1.  **精度表现**：AQLM 在标准的 2-4 位压缩范围内的表现都优于之前的最优方法，尤其在极限的 2 位量化中有显著的提升。
    
2.  **性能提升**：AQLM 可以实现大约 30% 的 GPU 层级加速，并在 CPU 推理中达到高达 4 倍的加速。
    

综上所述，AQLM 通过引入加性量化和联合优化技术，实现了在极限压缩条件下依然保持高精度和性能的优势。


![image.png](/static/img/ade90d568b9609f585dd5e24ad2129e0.image.webp)

模型极限压缩论文笔记

![image.png](/static/img/1b7e71c6f2a5adeca46196175da7c339.image.webp)



# VB-lora

**源码**：[https://github.com/leo-yangli/VB-LoRA](https://github.com/leo-yangli/VB-LoRA)

**论文**：[https://arxiv.org/abs/2405.15179](https://arxiv.org/abs/2405.15179)

## 背景

随着大型语言模型的采用增加以及对每个用户或每个任务模型定制的需求的增长，参数高效微调（PEFT）方法，例如低秩适应（LoRA）及其变体，会产生大量的费用。存储和传输成本。**为了进一步减少存储的参数**，**VB-LoRA** 引入了“分而共享”范例，通过向量库全局共享参数，打破了跨矩阵维度、模块和层的低秩分解的障碍。 **实现了极高的参数效率，同时保持了可比或更好的性能。**

## 方法论

**「LoRA局限性」** LoRA通过在模型的权重矩阵上添加低秩矩阵来调整模型参数，而不是更新整个权重矩阵。尽管LoRA减少了训练参数的数量，但它通常**只针对模型中每个权重矩阵单独进行低秩分解，没有实现跨矩阵、跨模块或跨层的参数共享**。

本文提出VB-LoRA方法，旨在减少可训练参数量，同时保持模型性能。该方法基础是**「“分而共享（divide-and-share）”」**范式


![image.png](/static/img/1b7e71c6f2a5adeca46196175da7c339.image.webp)
**「分解（Divide）」** 目的是将LoRA中的低秩矩阵分解成更小的、可管理的组件。这是通过Rank-1分解的形式来实现的，即将一个大的矩阵分解为多个小的Rank-1矩阵的和。每个Rank-1矩阵由两个向量的外积组成，这两个向量分别对应于原始矩阵的行和列。通过这种方式，原始的大矩阵被分解为多个更小的向量，为下一步的共享做准备。

**「共享(Share)」** 该步骤是“分而共享（divide-and-share）”范式的核心，作者通过一个共享的向量库（Vector Bank），让模型中的不同部分共享相同的参数，从而减少整体参数数量。其中向量库中的向量被设计为可以跨多个子矩阵、模块和层复用。

**「向量选择」** 对于每个子向量，模型通过一个可学习的logits向量来选择向量库中最重要的k个向量。这个选择过程是通过一个softmax层来实现的，它将logits转换为概率分布，然后选择概率最高的k个向量，并将它们组合成子向量，这些子向量随后被用于构建模型的参数。

通俗一点就是，秩r=1分解降维。多个分解求和得到W

其中:  
u₁ = \[1, 1, 0, 1\]ᵀ v₁ = \[2, 1, 0\]  
u₂ = \[0, 1, 1, 0\]ᵀ v₂ = \[0, 2, 1\]

```plaintext
u₁v₁ᵀ = [2  1  0]
        [2  1  0]
        [0  0  0]
        [2  1  0]

u₂v₂ᵀ = [0  0  0]
        [0  2  1]
        [0  2  1]
        [0  0  0]

W = u₁v₁ᵀ + u₂v₂ᵀ = [2  1  0]
                    [2  3  1]
                    [0  2  1]
                    [2  1  0]
```

## 实验结果

作者使用了GLUE基准测试来评估VB-LoRA在不同自然语言理解任务上的性能。可以看到VB-LoRA在RoBERTa-Large模型上与其他PEFT方法相比，存储参数数量显著减少，但分数更高。

![image.png](/static/img/67a18a2db56c019867cf5f647a5eafe0.image.webp)

在自然语言生成任务中，本文使用了GPT-2 Medium和Large模型，并在E2E数据集上进行了微调。VB-LoRA在保持与VeRA相当或更好性能的同时，所需的存储参数数量更少。

![image.png](/static/img/ff72ef3a5691b0a691448bbe2edbf76b.image.webp)
对Llama2模型（7B和13B参数版本）进行微调，VB-LoRA在使用极少的存储参数（Llama2 7B为0.8M，Llama2 13B为1.1M）的情况下，实现了比LoRA更高的分数。
![](http://101.34.53.72:2004/static/img/ff72ef3a5691b0a691448bbe2edbf76b.image.webp)

VB-lora

![image.png](/static/img/775f8e8c74596dae47b988ffdfb995a8.image.webp)



# Mixture-of-Subspaces in Low-Rank Adaptation

论文：[https://arxiv.org/abs/2405.15179](https://arxiv.org/abs/2405.15179)

github:[https://github.com/wutaiqiang/MoSLoRA](https://github.com/wutaiqiang/MoSLoRA)

##  背景

LoRA 通过在预训练权重上添加低秩分支来进行微调，从而减少了需要更新的参数量。然而，LoRA 在适应复杂任务时仍有局限性，**主要在于其无法充分捕捉子空间之间更复杂的关系**。为了提升性能，探索如何更好地混合这些低秩子空间的信息。

为了解决 LoRA 的不足，研究人员提出了一种新的子空间混合方法——**Mixture-of-Subspaces LoRA (MoSLoRA)。**MoSLoRA 通过引入一个**可学习的混合器来融合多个子空间**，从而灵活地捕捉更多信息。这种方法在多个基准测试中表现优异，**显著提升了模型的鲁棒性和准确性，同时引入的额外参数和计算开销可以忽略不计**

## 方法论

![image.png](/static/img/775f8e8c74596dae47b988ffdfb995a8.image.webp)
 
**第一个表达式** `x(A1B1 + A2B2)`：

*   这里使用的是传统的 LoRA 分解方式，即将矩阵 A 分解为两个子空间 A1 和 A2，矩阵 B 分解为 B1 和 B2。
    
*   然后，分别在子空间内进行相乘（A1 与 B1，A2 与 B2），再将结果相加。
    
*   这种方法在保持模型参数减少的同时，还能有效保持一定的模型表现。
    

**第二个表达式** `x(A1B1 + A2B2 + A1B2 + A2B1)`：

*   这是在“Mixing Two Subspaces”策略下引入的一种新方法。
    
*   不仅包含了原始的乘积（A1B1 和 A2B2），还增加了交叉项（A1B2 和 A2B1）。
    
*   这些额外的交叉项旨在探索更复杂的组合方式，可能会捕捉到更多的特征关系，从而提升模型的表现。
    

# 低秩适应 (LoRA) 方法对比

## 1. Vanilla LoRA

最基本的低秩适应方法。

公式：

\`\`\`

∑(i=1 to r) Ai \* Bi

\`\`\`

其中，Ai ∈ R^(d1×1)，Bi ∈ R^(1×d2)，r 是秩。

特点：简单直接，但信息交互有限。

## 2. Two-subspaces-mixing LoRA

通过混合相邻子空间增强信息交流。

公式：

\`\`\`

∑(i=1 to r/2) (Ai + Ai+r/2) \* (Bi + Bi+r/2)

\`\`\`

特点：每对相邻子空间（如 A1 和 A3，B1 和 B3）进行混合，增加信息交互。

## 3. MoSLoRA (Proposed)

引入可学习的混合器来融合更多信息。

公式：

\`\`\`

∑(i=1 to r) ∑(j=1 to r) wij \* Ai \* Bj

\`\`\`

其中，wij 是可学习的权重。

特点：最灵活，允许所有 Ai 和 Bj 之间的交互，可学习最优混合策略。

## 组合视图对比

\- \*\*Vanilla LoRA\*\*: A 和 B 之间是固定连接。

\- \*\*Two-subspaces-mixing LoRA\*\*: A 和 B 之间有固定混合模式。

\- \*\*MoSLoRA\*\*: A 和 B 之间有可训练混合器，允许更灵活的信息融合。

MoSLoRA 的主要优势在于其灵活性和学习能力，可根据具体任务自适应调整子空间交互，潜在获得更好性能。


![image.png](/static/img/1d189b86541c404555b6dcdb1529dbce.image.webp)

Mixture-of-Subspaces in Low-Rank Adaptation

这里分享实用的项目经验、独到的面试技巧，以及对AI技术趋势的前瞻性思考，帮助你在AI领域找到自己的定位。一起探索，一起成长，一起破圈。