![image.png](/static/img/33ba28841120bec89a86fef993269e5f.image.webp)


## 实现架构
X-LoRA通过动态混合预训练的低秩适配器专家（LoRA adapters）来组合不同的适配器。这些适配器在不同的领域接受了专门的训练，以获得特定的专业知识。X-LoRA模型使用一个可训练的缩放头（scaling head），它利用模型的隐藏状态来预测每个适配器的缩放权重。然后，在第二次前向传递中，模型使用这些缩放权重来混合不同的适配器专家，从而根据问题的上下文重新配置其专业知识。

这种方法允许模型在处理任务时，根据需要激活和混合不同的专家，从而实现高度的专业化和灵活性。例如，在回答有关蛋白质力学的问题时，模型可能会更多地依赖蛋白质力学适配器，而在处理涉及多个领域的问题时，它可以动态调整适配器的混合，以提供更全面和准确的答案。

此外，X-LoRA模型采用双重前向传递的算法，首先“思考”问题并重新配置自身，然后再做出响应，这增强了模型的“自我意识”和适应能力。尽管X-LoRA模型的参数数量相对较少（70亿参数），但它能够跨多个科学领域进行推理，显著提高了生成创新解决方案的能力。这种方法还可以指导开发替代模型架构，例如，将重新配置策略推广到模型的一部分或整个模型。

## 双重前向传递

X-LoRA模型通过实施双重前向传递算法来实现“思考”问题并重新配置自身。在第一次前向传递中，模型处理输入并计算隐藏状态。这些隐藏状态被提供给X-LoRA的缩放头（scaling head），这是一个可训练的组件，它使用这些状态来预测每个适配器的缩放权重。然后，在第二次前向传递中，模型使用这些缩放权重来混合不同的适配器专家，从而根据问题的上下文重新配置其专业知识。

这种双重传递的方法允许模型在回答问题之前“思考”和调整其结构，这被视为一种简单的“自我意识”实现。通过这种方式，模型能够适应性地调整其内部结构，以最佳地解决手头的任务。尽管X-LoRA模型的参数数量相对较少（70亿参数），但它能够跨多个科学领域进行推理，显著增强了生成创新解决方案的能力。这种方法还可以指导开发替代模型架构，例如，将重新配置策略推广到模型的一部分或整个模型。

Xlora，一种与MOE相似的lora门控

![image.png](/static/img/547ee48b583bb51affbf3b25a762bf23.image.webp)




<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>
很多内容发布在各个媒体平台都有限制，所以我决定自己建一个博客网站，分别记录自己的学习过程。此文记录我的部署过程。默认你有一定linux基础。

#  我只花了半小时，部署自己的`博客网站`

## 前置准备
- 一台服务器 （必要）
- 域名 （非必要）
- 备案 （非必要）

## 开始

### 项目地址

```
https://vanblog.mereith.com/
https://github.com/Mereithhh/vanblog
```
### 安装宝塔面板


```
wget -O install.sh https://download.bt.cn/install/install-ubuntu_6.0.sh && sudo bash install.sh
```
### 查看信息，打开宝塔面板

记得开放宝塔面板的防火墙端口
```
sudo bt 14
```

![image.png](/static/img/a40adb86c0aaddd6475e6c5bc7545019.image.webp)
急速安装一下基本件


![image.png](/static/img/0da3c3b51e20c551c31b382ed9a407e3.image.webp)
使用容器模板启动docker,以下是容器配置


![image.png](/static/img/64894bdf4fd762ba3be6647b26551747.image.webp)
```
version: '3'

services:
  vanblog:
    # 阿里云镜像源
    # image: registry.cn-beijing.aliyuncs.com/mereith/van-blog:latest
    image: mereith/van-blog:latest
    restart: always
    environment:
      TZ: 'Asia/Shanghai'
      # 邮箱地址，用于自动申请 https 证书
      EMAIL: 'someone@mereith.com'
    volumes:
      # 图床文件的存放地址，按需修改。
      - /var/vanblog/data/static:/app/static
      # 日志文件
      - /var/vanblog/log:/var/log
      # Caddy 配置存储
      - /var/vanblog/caddy/config:/root/.config/caddy
      # Caddy 证书存储
      - /var/vanblog/caddy/data:/root/.local/share/caddy
    ports:
      # 前面的是映射到宿主机的端口号，该端口的话改前面的。
      - 2004:80
      - 4443:443
  mongo:
    # 某些机器不支持 avx 会报错，所以默认用 v4 版本。有的话用最新的。
    image: mongo:4.4.16
    restart: always
    environment:
      TZ: 'Asia/Shanghai'
    volumes:
      - /var/vanblog/data/mongo:/data/db
```
使用该模板进行创建docker容器。记得开放防火墙端口。



### 打开网站，初始化

使用

`域名`+`端口` +`/admin/init`打开网站


![image.png](/static/img/2d0c523bdab93ca38dc1cca8c1210dbb.image.webp)
### 嘎嘎一顿配置，启动成功


![image.png](/static/img/0c504c4b45aaa01df568874234e957b0.image.webp)




### 后续

现在网页打开状态是:`ip+端口`
建议你购买域名，进行解析、备案。
配置ssl证书

## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.一对一的一小时咨询服务（49/次）

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！


![image.png](/static/img/357bfca5d3538fb92a9d7b30bb35e824.image.webp)

花半小时，部署自己的博客网站

![spe_kimetsu_web01.webp](/static/img/003f60efc895d86e33b1738494addd4d.spe_kimetsu_web01.webp)



<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>

>  transformer 起初采用的是绝对位置编码，但随着用户对大模型上下文和效率的追求，行业在不断改进，绝对位置编码依然淘汰。了解最新的位置编码算法对于认识当前大模型有很好的帮助。

## 位置编码论文

>`相对位置编码：`https://arxiv.org/abs/1803.02155
>
>`ALiBi位置编码：`https://arxiv.org/abs/2108.12409
>
>`Sandwich位置编码：`https://arxiv.org/abs/2106.12598
>
>`旋转位置编码：`https://arxiv.org/abs/2104.09864

### Relation-aware Self-attention
关系感知的自注意力

Relation-aware Self-attention的工作。该工作最初是为了解决Transformer的Self-attention模块中无法编码位置信息的问题，在机器翻译任务上取得了很好的结果。


![](https://files.mdnice.com/user/72399/a49366f4-d111-40d0-a12f-350c5849f35c.png)

Relation-aware Self-attention实际上就是在计算任意两个token i和j的Self-attention时，考虑他们的先验关系。

![](https://files.mdnice.com/user/72399/da60710b-358e-4daa-9dc6-c8f78002c150.png)

而且作者假设超过一定距离后的相对位置信息将不那么重要（比如，第一个token和第500个token之间的相对位置信息肯定没有第一个token和第二token之间的相对位置信息重要），所以这里作者设置了一个阈值k，即只考虑相对位置偏差在k范围内的位置信息。


![](https://files.mdnice.com/user/72399/ccb730ce-8e8e-4fa9-b835-bed9cac67532.png)
 
并且 $ w_K^{-k}, w_K^{-k+1}, \ldots, w_K^k $ 是需要学习的



## RoPE
我们可以思考一下，如何表达出两个张量之间的匹配度。如attention的论文所表示的，使用q k的内积再做softmax来表示。而为了加入位置信息，使用sin/cos的绝对位置编码，加入张量以影响内及大小/匹配度。但是这样某种意义上来说并没有什么意义，还会改变语义信息。

但改变内积还有一种方法，就是保证原有q k的值不变，改变张良之间的夹角。
夹角越小，匹配度越高。

这时候假设输入序列为2维，引入旋转矩阵计算q（旋转mθ），同样也可以计算k(nθ)。那么从相对的角度上来说,某一个向量旋转了（mθ-nθ）。

![image.png](/static/img/9ebb1752d8a652c85021ab1bd6aea002.image.webp)

![image.png](/static/img/30f813b2ab5162695485e8fbb49d3d87.image.webp)

![image.png](/static/img/946baf0dd81c82bc50dab81534838765.image.webp)

内积满足线性叠加性，因此任意偶数维的 RoPE，我们都可以表示为二维情形的拼接，即

![image.png](/static/img/fa5684cef8608cffaca51d8aeb3f4cd3.image.webp)

但是这种矩阵计算不高效，浪费算力，我们做这种修改
![](https://www.bobnlp.site/static/img/845e83c48cd7b986a4074ab0531b33af.image.webp)

## ALiBi
### 背景与挑战
当大模型在训练和预测时的输入长度不一致时，模型的泛化能力会下降。若外推能力不佳，大模型在处理长文本或多轮对话时的效果就会受到限制。正弦位置编码的外推能力比较弱，RoPE（Rotary Positional Embedding，旋转式位置嵌入）的外推能力有一定提高但仍然有限。


![image.png](/static/img/b02aaceb4ee9f850a0726a13c3fc23e7.image.webp)

### 技术
Alibi算法给attention score添加了一个预设的线性偏置矩阵，如图1所示，使模型能够理解输入之间的相对位置关系。由于位置信息直接作用于attention score上，位置差异性被突出，使模型具有较强的外推能力。

![image.png](/static/img/7e7a848cc6a7609b0393ca9857a795cc.image.webp)




![image.png](/static/img/5460b9529e52f005e8f5a7a503bc89b0.image.webp)

### sandwich编码
Sandwich将ALiBi的线性bias改为正弦编码的内积pm*pn，上述编码也是对于正余弦三角式的一种改进。

![image.png](/static/img/27103222742621016290a99670cf1729.image.webp)


![image.png](/static/img/09da6a2bececd880f4d7e8679ffba9ed.image.webp)
可达到1500tkens前的ppl指标衰减不明显




## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.【一对一的一小时咨询服务】（49/次）

找一群人一起走，慢慢变富。期待和同频的朋友一起蜕变！

3.【简历指导修改】(149/人)

设计多次修改优化.发掘你的潜在价值与内容.

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

各类位置编码分析

![image.png](/static/img/fc40ca5a4d5b4536564455fe8d1c209c.image.webp)



<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>



> 首先回忆一下gpt架构。主流的大语言模型几乎都是由生成式GPT改进而来


![image.png](/static/img/eaadab3ccdb1f1e8900e24db1bb25d85.image.webp)

## LLama3


![image.png](/static/img/fc40ca5a4d5b4536564455fe8d1c209c.image.webp)

相较与GPT2的模型架构还是有改进的：

`位置编码`：去除了绝对位置编码，采用了旋转位置编码`RoPE`,可以兼顾相对位置和绝对位置的信息以提高模型的泛化能力。

`分组查询注意力 (GQA)`:8B 和 70B 的LLaMA3都采用了分组查询注意力 (GQA)机制，将Query进行分组，组内共享KV，使得K和V的预测可以跨多个头共享，显著降低计算和内存需求，提升推理速度 。

`RMSNorm & Pre-normalization`：使用RMSNorm均方根归一化函数。作用：为提升训练稳定性，LLaMa对每个Transformer的子层的`输入`进行归一化，而不是对输出进行归一化。用pre layer Norm(预训练层归一化),去除layer normalization中偏置项。

`激活函数`：没有采用ReLU激活函数，而是采用了`SwiGLU`激活函数（结合SWISH 和 GLU 两种者的特点）。SwiGLU 主要是为了提升 Transformer 中 的 FFN(feed-forward network) 层的实现。FFN通常有两个权重矩阵，先将向量从维度d升维到中间维度4d，再从4d降维到d。而使用SwiGLU激活函数的FFN增加了一个权重矩阵，共有三个权重矩阵，为了保持参数量一致，中间维度采用了 2/3 x4d ，而不是4d。

`AdamW优化器`:使用了AdamW优化器，并使用cosine learning rate schedule 

## 技术实现
### RoPE
我们可以思考一下，如何表达出两个张量之间的匹配度。如attention的论文所表示的，使用q k的内积再做softmax来表示。而为了加入位置信息，使用sin/cos的绝对位置编码，加入张量以影响内及大小/匹配度。但是这样某种意义上来说并没有什么意义，还会改变语义信息。

但改变内积还有一种方法，就是保证原有q k的值不变，改变张良之间的夹角。
夹角越小，匹配度越高。

这时候假设输入序列为2维，引入旋转矩阵计算q（旋转mθ），同样也可以计算k(nθ)。那么从相对的角度上来说,某一个向量旋转了（mθ-nθ）。


![image.png](/static/img/9ebb1752d8a652c85021ab1bd6aea002.image.webp)


![image.png](/static/img/30f813b2ab5162695485e8fbb49d3d87.image.webp)


![image.png](/static/img/946baf0dd81c82bc50dab81534838765.image.webp)

内积满足线性叠加性，因此任意偶数维的 RoPE，我们都可以表示为二维情形的拼接，即


![image.png](/static/img/fa5684cef8608cffaca51d8aeb3f4cd3.image.webp)

但是这种矩阵计算不高效，浪费算力，我们做这种修改


![image.png](/static/img/845e83c48cd7b986a4074ab0531b33af.image.webp)

代码：
```python
import torch

def precompute_freqs_cis(dim: int, end: int, constant: float = 10000.0):
    '''
    计算cos和sin的值，cos值在实部，sin值在虚部，类似于 cosx+j*sinx
    :param dim: q,k,v的最后一维，一般为emb_dim/head_num
    :param end: 句长length
    :param constant： 这里指10000
    :return:
    复数计算 torch.polar(a, t)输出， a*(cos(t)+j*sin(t))
    '''
    # freqs: 计算 1/(10000^(2i/d) )，将结果作为参数theta
    # 形式化为 [theta_0, theta_1, ..., theta_(d/2-1)]
    freqs = 1.0 / (constant ** (torch.arange(0, dim, 2)[: (dim // 2)].float() / dim)) # [d/2]

    # 计算m
    t = torch.arange(end, device=freqs.device)  # [length]
    # 计算m*theta
    freqs = torch.outer(t, freqs).float()  # [length, d/2]
    # freqs形式化为 [m*theta_0, m*theta_1, ..., m*theta_(d/2-1)],其中 m=0,1,...,length-1

    # 计算cos(m*theta)+j*sin(m*theta)
    freqs_cis = torch.polar(torch.ones_like(freqs), freqs)  # complex64
    # freqs_cis: [cos(m*theta_0)+j*sin(m*theta_0),  cos(m*theta_1)+j*sin(m*theta_1),), ..., cos(m*theta_(d/2-1))+j*sin(m*theta_(d/2-1))]
    # 其中j为虚数单位， m=0,1,...,length-1
    return freqs_cis # [length, d/2]

def reshape_for_broadcast(freqs_cis: torch.Tensor, x: torch.Tensor):
    ndim = x.ndim
    assert 0 <= 1 < ndim
    assert freqs_cis.shape == (x.shape[1], x.shape[-1])
    shape = [d if i == 1 or i == ndim - 1 else 1 for i, d in enumerate(x.shape)] # (1, length, 1, d/2)
    return freqs_cis.view(*shape) # [1, length, 1, d/2]

def apply_rotary_emb(xq: torch.Tensor, xk: torch.Tensor, freqs_cis: torch.Tensor,):
    # 先将xq维度变为[bs, length, head,  d/2, 2], 利用torch.view_as_complex转变为复数
    # xq:[q0, q1, .., q(d-1)] 转变为 xq_: [q0+j*q1, q2+j*q3, ..., q(d-2)+j*q(d-1)]
    xq_ = torch.view_as_complex(xq.float().reshape(*xq.shape[:-1], -1, 2)) # [bs, length, head, d/2]
    # 同样的，xk_:[k0+j*k1, k2+j*k3, ..., k(d-2)+j*k(d-1)]
    xk_ = torch.view_as_complex(xk.float().reshape(*xk.shape[:-1], -1, 2))

    freqs_cis = reshape_for_broadcast(freqs_cis, xq_) # [1, length, 1, d/2]
    # 下式xq_ * freqs_cis形式化输出，以第一个为例, 如下
    # (q0+j*q1)(cos(m*theta_0)+j*sin(m*theta_0)) = q0*cos(m*theta_0)-q1*sin(m*theta_0) + j*(q1*cos(m*theta_0)+q0*sin(m*theta_0))
    # 上式的实部为q0*cos(m*theta_0)-q1*sin(m*theta_0)，虚部为q1*cos(m*theta_0)+q0*sin(m*theta_0)
    # 然后通过torch.view_as_real函数，取出实部和虚部，维度由[bs, length, head, d/2]变为[bs, length, head, d/2, 2]，最后一维放实部与虚部
    # 最后经flatten函数将维度拉平，即[bs, length, head, d]
    # 此时xq_out形式化为 [实部0，虚部0，实部1，虚部1，..., 实部(d/2-1), 虚部(d/2-1)]
    xq_out = torch.view_as_real(xq_ * freqs_cis).flatten(3) # [bs, length, head, d]
    # 即为新生成的q

    xk_out = torch.view_as_real(xk_ * freqs_cis).flatten(3)
    return xq_out.type_as(xq), xk_out.type_as(xk)

if __name__=='__main__':
    # (bs, length, head, d)
    q = torch.randn((2, 10, 12, 32))  # q=[q0, q1, .., qd-1]
    k = torch.randn((2, 10, 12, 32))
    v = torch.randn((2, 10, 12, 32))
    freqs_cis= precompute_freqs_cis(dim=32, end=10, constant= 10000.0)
    # print(freqs_cis.detach().numpy())

    q_new, k_new = apply_rotary_emb(xq=q, xk=k, freqs_cis=freqs_cis)
    print()

```
### 分组查询注意力(GQA)
从Multi-HeadAttention到Group-QueryAttention。
这种技术通过将注意力机制中的查询分组，减少了计算量，同时保持了模型的性能。


![image.png](/static/img/4c07ff01d949d2e86bc8ddf64c1f5d50.image.webp)

### RMSNorm


$$
R M S(a)=\sqrt{\frac{1}{n} \sum_{i=1}^{n} a_{i}^{2}}
$$

$$
\bar{a}_{i}=\frac{a_{i}}{R M S(\boldsymbol{a})}
$$
此外，RMSNorm 还可以引入可学习的缩放因子 𝑔𝑖和偏移参数 𝑏𝑖，从而得到 

$\bar{a}{i}=\frac{a{i}}{\operatorname{RMS}(\boldsymbol{a})} g_{i}+b_{i}$。

RMSNorm 在 HuggingFace Transformer 库中代码实现如下所示：
```
class LlamaRMSNorm(nn.Module):
  def __init__(self, hidden_size, eps=1e-6): 
    """ 
    LlamaRMSNorm is equivalent to T5LayerNorm 
    """ 
    super().__init__() 
    self.weight = nn.Parameter(torch.ones(hidden_size)) 
    self.variance_epsilon = eps # eps 防止取倒数之后分母为 0 
  
  def forward(self, hidden_states): 
    input_dtype = hidden_states.dtype 
    variance = hidden_states.to(torch.float32).pow(2).mean(-1, keepdim=True) 
    hidden_states = hidden_states * torch.rsqrt(variance + self.variance_epsilon) # weight 是末尾乘的可训练参数, 即 g_i 
    
    return (self.weight * hidden_states).to(input_dtype)
```
layernorm:
$$
\text{Norm}(x_i) = \frac{x_i - \mu}{\sqrt{\sigma^2 + \epsilon}}
$$

(u均值，6方差，&偏置)
### SwiGLU
SwiGLU激活函数是相较于 ReLU 函数在大部分评测中都有不少提升。

$$
\operatorname{SwiGLU}(\boldsymbol{x}, \boldsymbol{W}, \boldsymbol{V})=\operatorname{Swish}_{\beta}(x \boldsymbol{W}) \otimes \boldsymbol{x} \boldsymbol{V}
$$

$$
\operatorname{Swish}_{\beta}(\boldsymbol{x})=\boldsymbol{x} \sigma(\boldsymbol{\beta} \boldsymbol{x})
$$

$σ(x)$ 是 Sigmoid 函数，⊗表示两个向量逐元素相乘。

首先输入向量x（在下图中使用的符号是E）经过两个独立的卷积层/MLP层，得到向量A和向量B。此时，向量A和向量B的公式为：A=x⋅W+b，B=x⋅V+c。然后向量B经过一个sigmoid函数之后，σ(B)中的每个元素就都变为了0～1之间的值，就可以起到控制信息是否通过的作用。将向量A与σ(B)逐个元素相乘之后就得到了GLU层的最终输出结果，把上面描述的整个过程结合起来，GLU的公式如


![image.png](/static/img/ec3e8a256eafbefcd32e7940060dcd1c.image.webp)

不同的𝛽的激活函数曲线：


![image.png](/static/img/6fe05e2e42b1c3592886fb47222db01c.image.webp)

具体维度上来说，通过将维度升到8/3d，使得总参数量和原FNN的参数量一致，为4d2


![image.png](/static/img/9db6603854c925d7a9e7872726a92a1e.image.webp)

优势对比relu：
- 非线性更强、门控加权动态调整、梯度平滑不会梯度消失


### AdamW
**Adam**:

Adam是改进的SGD，它加入了更新的动量和自适应的学习率，可以帮助更快地收敛。

优点：它融合了Momentum优化方法和RMSProp优化方法，可以帮助优化算法提高精度。
它还可以自动调整学习率，因此不需要太多参数调整。

缺点： 
它需要消耗更多的内存，而且可能会出现收敛问题。

**AdamW**:

AdamW是Adam的变体，用来处理大型数据集，它以一定的比率来缩减模型参数的梯度，从而减少计算量，提高训练速度。

优点：它可以自动调整学习率，而不需要太多参数调整，降低了冗余性。
它也可以自动调整权重衰减系数，使模型更加稳定，避免过拟合。

缺点： 学习率容易受到网络噪声的影响，从而影响优化过程。

## 相关参数


![image.png](/static/img/7722baea73f89b3f136b5ae77445551d.image.webp)

<hr>


![image.png](/static/img/90e6b1a92be814a6bd0f7f43ec851b0b.image.webp)

<hr>

## LLama家族发展史


![image.png](/static/img/33803fa4dc2cd303301c0ccee59ad51e.image.webp)

**LLaMA**：开源大模型繁荣发展的开端，一系列相关工作均基于LLaMA开展
模型规模7B、13B、33B、65B满足了开发者和研究者的不同需求

**Alpaca：** 通过少量的指令精调赋予LLaMA指令理解与执行的能力

**Llama-2：** LLaMA的二代模型，相关模型性能进一步提升，模型可商用
推出官方对⻬的Chat版本模型，采用了完整的RLHF链条

**Code Llama：** 专注于代码能力的LLaMA模型，最好的模型代码能力接近GPT-4效果。



## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.【一对一的一小时咨询服务】（49/次）

找一群人一起走，慢慢变富。期待和同频的朋友一起蜕变！

3.【简历指导修改】(149/人)

设计多次修改优化.发掘你的潜在价值与内容.




![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

LLama系列模型架构分析

![image.png](/static/img/f7816ce6527a2748792479dc4ed20da9.image.webp)



## TIES-MERGING: Resolving Interference When Merging Model
<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>









迁移学习——即在下游任务上进一步微调预先训练的模型——可以带来显着的优势，包括改进的下游性能、更快的收敛和更好的样本效率。这些优势导致了针对特定任务的微调模型的激增，这些模型通常只能执行一项任务，并且不能相互受益。

最近，模型合并技术已经成为一种解决方案，可以将多个特定于任务的模型组合成单个多任务模型，而无需执行额外的训练。然而，现有的合并方法往往忽略了不同模型参数之间的干扰，导致合并多个模型时性能大幅下降。

**现有合并影响因素：**

（a）由于冗余参数值引起的干扰；

（b）跨模型给定参数值的符号不一致

![image.png](/static/img/f7816ce6527a2748792479dc4ed20da9.image.webp)

**该研究解决问题的方法：**

(1) 重置在微调期间仅改变少量的参数

(2) 解决符号冲突

 (3) 仅合并与最终商定的符号一致的参数。

### 第一步：修剪冗余参数

在模型微调过程中，许多参数的变化对任务性能的影响很小，甚至可以忽略不计。这些冗余参数在合并多个任务特定模型时会引起干扰，从而降低合并后模型的性能。为了解决这一问题，TIES-MERGING方法首先通过“修剪”步骤来去除这些冗余参数。具体来说，对于每个任务特定的模型，我们计算其任务向量（task vector），该向量表示模型参数在微调过程中发生的变化。然后，我们只保留任务向量中变化幅度较大的前k%参数（根据其 magnitude），而将剩余的变化较小的参数重置为0。这一步骤有效地减少了冗余参数对合并模型的干扰。

### 第二步：解决参数符号不一致的问题

在多个任务特定模型中，同一个参数可能在不同的模型中具有不同的符号（正负号）。这种符号不一致会导致简单的参数平均合并方法失效，因为正负号相反的参数值会相互抵消，从而降低合并后模型的性能。为了解决这一问题，TIES-MERGING方法引入了一个“选符号”步骤。在这一步骤中，对于每个参数，我们比较其在不同模型中的符号，并选择具有最大总变化幅度的符号作为最终符号。这一步骤确保了合并后模型的参数符号一致，从而避免了符号不一致引起的干扰。

### 第三步：仅对符号一致的参数进行合并

在解决了符号不一致的问题后，TIES-MERGING方法的最后一步是“ disjoint merge”，即仅对符号一致的参数进行合并。具体来说，对于每个参数，我们只计算那些在不同模型中符号相同的参数值的平均值，而忽略符号不一致的参数值。这一步骤确保了合并后模型的参数值只包含那些对任务性能有积极贡献的部分，从而进一步提升了合并模型的性能。



## 有关修建与合并的参数

 `density`：密度，密度越大，所保留的重要参数就越多，比如0.5。那就保存前50%的重要参数，其余的追随基座模型，减少冗余。
 
  `weight`:权重，配置中的权重总和不等于 1，但normalize: true参数会在内部自动对它们进行归一化。使得不同的任务重要性占比不同。
 
实验结果证明，20%以上的保留比率不会降低性能！

![image.png](/static/img/c432b9815b391c3ddd91e20ca4fc7779.image.webp)

## 我的实验
有点失败，可以不做参考

![image.png](/static/img/779b73988b93f005c22f48ded08be648.image.webp)

 




## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.【一对一的一小时咨询服务】（49/次）

找一群人一起走，慢慢变富。期待和同频的朋友一起蜕变！

3.【简历指导修改】(149/人)

设计多次修改优化.发掘你的潜在价值与内容.

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

TIES-MERGING高效模型合并

这里分享实用的项目经验、独到的面试技巧，以及对AI技术趋势的前瞻性思考，帮助你在AI领域找到自己的定位。一起探索，一起成长，一起破圈。