![cover_image](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241285062-510a11cb-2745-41ba-8a84-74b9ffe4b513.png)




#  VERA : 一种比Lora更省资源的微调方案

原创  Bob新视界  [ Bob的AI视界 ](javascript:void\(0\);)

__ _ _ _ _

> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>
>

  

#  VERA论文笔记

> ❝
>
> 《 VERA VECTOR-BASED RANDOM MATRIX ADAPTATION 》

直达链接：

> ❝
>
> https://arxiv.org/pdf/2310.11454

#  引言

该论文基于Lora，提出了基于向量的随机矩阵自适应（ **VeRA** ），与 LoRA
相比，它进一步减少了可训练参数的数量，但保持了相同的性能。模型达到了类似甚至更好的效果。

#  原理


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241314714-0e96164c-497b-45a0-83ef-a138bb77b9d3.png)

（图中蓝色部分为冻结部分，橙色为可训练部分）

  1. **LoRA** 通过训练低秩矩阵 A 和 B 以及中间秩 r 来更新权重矩阵 W。 

    
    
       h = W0x + ∆W x = W0x + BAx  
    

  2. 在 **VeRA** 中，这些 **矩阵被冻结（A B）** ，在所有层之间共享，并使用可训练向量 **d 和 b 进行调整** ，从而大大减少了可训练参数的数量。 

    
    
      
       h = W0x + ∆W x = W0x + Λb B Λd A x  
    

冻结一对随机初始化的矩阵，在所有适应层之间共享，并引入可训练的缩放向量，以实现逐层适应。

#  效果

###  参数量方面：


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241327261-6fc741ae-4cfa-4099-85c2-e3939c221e3e.png)


使用 L 表示微调层的数量，使用 d 表示这些层的维度。

VeRA 中可训练参数的数量 **|θ| = L× (d+ r)**

LoRA 的 |θ| = **2 × L × d × r**

zi具体来说，对于最低秩（即 r = 1），VeRA 需要的可训练参数大约是 LoRA 的 **1/2** 。

随着秩 r 的增加，VeRA 的参数计数每次增加都会增加 **L倍** ，与 LoRA 的 **2Ld倍** 相比，节省了很多。

**显着减少了可训练参数的数量，这种参数效率在极深和极宽的模型中变得尤为重要**

###  模型效果

**在下游任务上产生类似或更好的结果**

![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241338255-8dff7519-9e55-4423-9a84-007eec454511.png)


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241354728-f038c9a5-dd63-4ec2-a6bb-492ae23a3f05.png)


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725241374798-80a87d86-08ce-4551-8d67-0f4e681696ae.png)

#  总结

论文引入了一种微调方法VERA，冻结一对随机初始化（A B）的矩阵，在所有适应层之间共享，并引入可训练的缩放向量( d b )，以实现逐层适应与 LoRA
相比，该方法显着减少了可训练参数的数量，从而在下游任务上产生类似或更好的结果.

##  Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 🎫99💰/年。

2.【AI+老人回忆录制作】正在运营，有需求 或者 想加入 可微信私聊。

3.【语音咨询】：99💰/小时

群里分享讨论:

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

扫码加微信，链接不迷路！

![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/08/07/1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.jpg)

VERA : 一种比Lora更省资源的微调方案

![cover_image](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725242231829-eb6bebad-3ada-4553-b8bd-93913ec98526.png)



#  在大二拿到了一份心仪的Offer，我是怎么一步步打怪升级的？

> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>
>
  



  

Hello，很高兴能链接到不甘平凡的你。

没错，这篇文章是笔者Bob的个人 **成长分享** 。是我2022~2024年的总结。

**从进入大学到大二拿到目前的心仪的offer** 。我经历了什么，学会了什么，做到了哪些？如果你愿意花时间看完这篇文章，相信他或多或少会给你带来帮助。

##  认知觉醒

###  发现问题

在进入大学之前，我接触到了我人生的第一门编程语言Python，因为小、初、高的学习思维的固定，我养成了这种提前预学的习惯，所以在进入大一之后，我有了比其他人更快速的学习能力。

具备了这样的条件之后，我希望我能比别人更厉害，所以我去拓展自己的知识面，去了解这些编程语言能用来做什么产品。这个时候就慢慢发现了一些问题，什么呢？

我发现学校教的东西都太过于浅显，或者有许些落后过时了，导致于学校教出的一些知识，其实你并不能真正应用到产品中。 `
教出来的学生的技术，和现实中公司和市场的需求很脱节 ` 。

我发现课上老师很多都只是在念PPT讲题，学生大多数玩手机，小部分会认真听。 ` 使用的教材都是几年前的，也没看到很多年轻的老师 ` 。

这大概率是因为我的学校并 ` 非985类高校 ` ， ` 城市 ` 也比较一般。

在计算机这种迭代迅速的领域，这种情况是我不能接受的。

###  我开始改变自己了

我寻求各方的帮助，通过老师同学，我找到了学校的 **人工智能开发团队Dream Chaser**
，并且加入了他们，希望以此来跟进外界的技术发展，提高自己。同时也在 **GitHub学习开源项目** 。

与此同时，我也没有再好好认真上课，成为了大家可能所认为的 ` “坏”学生 ` hhh

我改变了原有根深蒂固的 ` 高中学习思维 ` 。不执着于上课一定认真听讲。
**我利用上课的时间，课余的时间去做我自己想做的项目,并且协助团队的开发，累积项目经验。**

对于专业课程的学习，我会在考试前一周认真掌握知识点。然后一举拿下考试。



##  AI程序员+自媒体路线

在确认了自己的学习思维和学习方式后。

我开始着想自己要走的一条路究竟是怎样？

###  AI程序员

我很幸运。进入大学就遇到了几乎这近百年来最大的变革---人工智能AI。

刚进入大一，遇到了ChatGPT的发布。那时可谓各行各业都受到了巨大的影响。有人担忧，有人欣喜，但从现在的角度看来，
**AI并不会替代任何一个行业，它只会优化这个行业，会淘汰那些不会使用它提高效能的人。**

ChatGPT的影响力不亚于工业革命。在对它的了解过程中，我对它产生了极大的兴趣，慢慢的坚定了对他的信心，也看好它的发展前景。
**于是我选择了AI人工智能这条路，希望成为一名AI开发算法的程序员。**

###  自媒体之路

但是单单成为一个程序员工作者可不行。对我来说，这都不够自由。我不希望只做一个任劳任怨的工作者。因为你再厉害也是给别人打工。

我渴望去 **创业** 。我希望通过不同的方式来实现我人生的财富自由。最近几年，我发现自媒体爆火。各种文章视频，流量巨大，收获的点赞巨多。

在这样一个互联网平台，大家只需要动动手指就能了解很多信息。于是我打算 **边学习边做知识分享，打造个人IP影响力** 。这也就成了我的第二条路。

二者结合我称为： **AI程序员+自媒体打造**

这样的路线也被确定了下来。接下来就是我磕磕撞撞的经历了。

##  小步快跑，尝试、反馈、优化的人生旅程

` 2022年12月13日，我开了我人生中第一个淘宝店，并且赚到了人生的第一桶金。10块钱。 `


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725242285892-856d1831-222a-4c96-848f-70448ba3baf6.png)


当时Chatgpt刚刚问世。造成了巨大的轰动，但是很多人没办法注册账号。于是我尝试卖这个服务。

过程也是很艰难，当时大一接触电脑都才几个月。当时我连科学上网都不会。访问国外网站都整了好几天。把这个流程全部干完。也是花费了一到两周。但是最后我还是成功做到了。

10块钱，或许只能简单的吃碗面。但对当时我来说 **意义非凡，他鼓舞了我** ，让我更加坚定了自己的道路。这是一种 **正向的反馈** 。

  

  

` 2023年三月初。我部署我的第一个chatgpt微信小程序。 `
当时购买购买账号的业务已经烂大街了。竞争实在太大连汤都喝不到。不满足当时现状的我又向着技术更深的领域进发。


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725242296379-7cc637c8-0344-4f8d-8393-580fabcc9323.png)

一个编程都没怎么接触的小白，写一套业务代码是完全不可能的。 **虽然我虽然不会写，但是我可以抄呀。抄完之后，了解结构后我也可以改呀**

于是我 **立马行动** ，加入那些正在做Chatgpt程序的程序员群聊。我一个一个加他们的微信和他们咨询。他们很厉害，对于我当时的我而言。

我使劲的吹捧，使劲的舔。希望他们能够更好的指导我。为了拿到源码还有技术指导，我会给他们 **发红包** 。希望通过 **知识付费**
的方式能够解决我的问题。

尽管如此，还是很多人 **拒绝了我的请求** 。因为我实在是太 **小白**
了。一个代码都不怎么会的人，服务器都没接触的人。怎么可能部署修改一套完整的代码？大家可以理解为你连四则运算的都不懂，就妄图去解方程。了。但尽管如此我还是在做尝试，一个不行就两个，两个不行就三个。
**最后我找到了一个愿意帮我的人。我付费了259** 。给了他最后组成了一个微信小程序。前前后后的知识付费都花了快1000了，也不容易，但是都值得！

  

  

  

` 2023年7月1号。我加入了学校的人工智能团队，放弃了暑假，全站开发了一个AI网站。 `
这是我独立、完完全全自己一个人完成的一套业务代码。真正的实现了完全自己写代码的过程。

![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725242305875-c1d8a783-d3f0-47fc-b8fc-f1b5eabacd19.png)

在这个暑假之中大家基本上都回去了，我一个人住在寝室。每天 **早上8：00** 去工作室， **晚上6:00**
回来寝室，和团队中的小伙伴们一起陪伴学习，其实并不孤单，反而每天都过得 **很充实** 。每天都能学到东西。 **保持学习，保持进步** 。

看着大家朋友圈的游玩分享，组队开黑的邀请。我确实有点眼馋 **。但是我可是梦想着成为一个高手呢**
，要脚踏实地，要耐得住寂寞。不出意外的，我学习越来越顺利，在掌握更多的知识后，我成功的全站开发了一个AI网站，供给了我们团队用。也是非常的荣幸，非常有成就感。

  

  

` 2023年12月也就是寒假。我接触了对我帮助最大的一项技术---大模型微调和开发技术。 `
我大模型微调训练营。在训练营中认识了许多的小伙伴，大家每天在群里面打卡学习内容，这样的高能量群体促使我更加快速的进步，迭代自己。慢慢的我接触了
**大模型** ，懂得了内部原理，接触了 **算法** ，接触了了 **开发** 。

![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725242314134-5c001035-9b36-4a5d-9c40-edf413c97a2d.png)


最后也成功拿到了训练营毕业证。

  

  

` 2024年的这一段时间里，我不断的做着自己的项目。 ` 其中包括但不限于大模型的 **部署、微调、Prompt工程、RAG 、Agent等等**
。并且全部推送到了我的代码仓库里，也收获了一系列的好评。


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725242324274-5464a48b-7046-404a-baf5-8e8c3661f976.png)


  

  

在这些经历中我总结出我最深的感受∶

**多尝试。很多东西不是会了才做，而是做了才会。**

**小步的快跑，不要在一个点停留太久。多反馈，优化迭代自己。**

##  海投简历，面试脱敏

在2024这一年里：

不管是什么岗位。只要是和我领域相关的，我都会去投出我的简历。累计沟通也有 **311公司** 了，有些会拒绝，有些HR可能会直接拒绝我，今天我才大二。

但是我从大一就开始做项目了，对于很多业务场景都比较理解，我对自己的实力还是比较自行的。我并没有停留太多， **这家不适合，那就下一家** 。

在几百次的沟通后，我投出去了 **44份** 简历。

这44份简历给我争取到了 **8次** 的 **面试机会。**

这里海投简历寻找面试,单单是为了找工作吗？其实并不只是。确实是为了找到更好的工作， **更多的是通过面试的情况来提高自己。**

面试官对你的提问之中，你可以清楚的感受到自己有哪些点比较 **薄弱** ，还需要做出哪些提高。

你对面试官的提问，你可以了解到业内的行情。业内有怎样的 **需求和落地场景** ？

你们之间相互的交流，可以让你不在有对 **面试的恐惧** ，让你能够更加适应这种交流环境。顶住面试官的压力你才能慢慢得到提升。

就这样在8家之中，我拿到了 **2家公司** 的邀请。

最终选择了 **1个** 我更适合，也更感兴趣的公司。

**从311到45到8到2到1。**

其中的 **尝试与改变** 都值。

##  拿到offer

最终我也是很幸运的拿到了自己的实习工作。很不错，也是我最喜欢的领域--- NLP算法实习生兼开发。工作环境也挺不错的，算是到目前为止最心仪的一份了。


![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/09/02/1725242336782-27f37c17-59c2-40e0-ade4-09358b086c35.png)

##  结语

**谢谢你这么关心，看到了这里。**

**也很希望自己的经历和文章能够帮到你。**

**  
**

##  祝福

现在是6月6号凌晨，蝉鸣不断。

相信很多高三的学弟学妹们睡得很香了吧~~~今天偶然看到为高三喊楼助力的视频。

**羡慕你们，也祝福你们。**

**更相信自己也能怀着的青春的热血，努力走的更远。**

愿你们高考加油！顺利毕业。珍惜、享受高中生活的最后三天。

##  Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 🎫99💰/年。

2.【AI+老人回忆录制作】正在运营，有需求 或者 想加入 可微信私聊。

3.【语音咨询】：99💰/小时

群里分享讨论:

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

扫码加微信，链接不迷路！

![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/08/07/1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.jpg)

在大二拿到了一份心仪的Offer，我是怎么一步步打怪升级的？

大模型学习资料

这里分享实用的项目经验、独到的面试技巧，以及对AI技术趋势的前瞻性思考，帮助你在AI领域找到自己的定位。一起探索，一起成长，一起破圈。