VERA一种比Lora更省资源的微调方案
VERA : 一种比Lora更省资源的微调方案 ❝ 《 VERA VECTOR-BASED RANDOM MATRIX ADAPTATION 》 直达链接： ❝ https://arxiv.org/pdf/2310.11454 引言 该论文基于Lora，提出了基于向量的随机矩阵自适应（ VeRA ）
最新文章
Transformer面试问
Transformer面试问 问题 Transformer为何使用多头注意力机制？ Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？ Transformer计算attention的时候为何选择点乘而不是加法？两者计算复杂度和效果上有什么区别？ 为什么在进
VBlora分而共享比Lora更省资源性能不降
VBlora “分而共享”,比Lora更省资源，性能不降。 VB-lora 源码 ：https://github.com/leo-yangli/VB-LoRA 论文 ：https://arxiv.org/abs/2405.15179 背景 随着大型语言模型的采用增加以及对每个用户或每个任务模型定制的
Transformer的一点回顾学习
Transformer的一点回顾学习 这几天打算整理一下学过的知识。手写笔记整理+代码理解 ，记录自己的学习 transformer 包括 笔记 和 代码 详细的代码 如果有不明白的地方，可以看代码加深理解！！！ https://github.com/phbst/notes/blob/main/tr
TIESMERGING多任务高效合并
TIES-MERGING多任务高效合并 ❝ 大家好，我是 Bob! 😊 一个想和大家慢慢变富的 AI 程序员💸 分享 AI 前沿技术、项目经验、面试技巧! 欢迎关注我，一起探索，一起破圈！💪 迁移学习——即在下游任务上进一步微调预先训练的模型——可以带来显着的优势，包括改进的下游性能、更快的收
RAGRetrievalAugmentedGeneration检索增强生成进阶优化思路
RAGRetrievalAugmentedGeneration检索增强生成进阶优化思路 承接上次RAG学习项目的分享，如果你没有看过上一篇，这里是跳转链接 用RAG技术让大模型开卷考试，建立私人数据库 上次的分享仅仅限于学习RAG的基本思路，只能说是一个最小的框架，其中有许多的问题需要解决优化，下面
quot走出去见世面quot是年轻人最值得做的事
"走出去，见世面"是年轻人最值得做的事 香港的旅程 这几天和我的好搭子“晗哥”去了一趟 香港 。尽管我们的长辈在香港，但整个旅程都是我俩独自安排，独自面对。 整个过程感悟颇深，真真正正的亲身感受到了香港与内地的不同，发自内心的想说： “走出去、见世面、交朋友是这辈子最值得做的事！” 不同网络带来了信
Meta发布llama31405B开源模型王座一夜易主基准测试力压GPT4o
Llama 3.1模型提前泄露，基准测试出人意料 就在昨天Meta即将发布的llama3.1系列模型被提前泄露，基准测试和磁力链已经传得满天飞了。 测试结果出人意料，尤其是405B与70B.评测结果力压同类竞品。 这里要注意几个点： llama 3.1 405B只是一个base模型。并没有进行过微调
OpenAI最新发布的o3模型未来码农或将不复存在
OpenAI 最新发布的 o3 模型：未来码农或将不复存在？ OpenAI 连续12天的直播终于落下帷幕。令人意外的是，最后一天的核心内容竟然是 o3 以及 o3 mini 的预告。 ❝ 注：OpenAI 为避免版权纠纷，直接跳过 o2 命名，采用 o3。 如果用一句话来描述 o3，那就是： **
LLama3模型架构分析
LLama3模型架构分析 ❝ 首先回忆一下gpt架构。主流的大语言模型几乎都是由生成式GPT改进而来 [图片] LLama3 相较与GPT2的模型架构还是有改进的： 位置编码 ：去除了绝对位置编码，采用了旋转位置编码 RoPE ,可以兼顾相对位置和绝对位置的信息以提高模型的泛化能力。 分组查询注意力