<image src="/static/img/7cb02b28e33b85291438fc56ae0cd5f9.images.webp" height="300px" width="100%">
    


<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>

# 模型极限压缩论文笔记

这篇论文提出了一种极限压缩大语言模型（LLM）的方法，称为加性量化（Additive Quantization，AQ）。以下是这个量化方法的主要优势、之前方法的缺陷、算法原理以及实验结果：

### 链接
>https://arxiv.org/abs/2401.06118

## 量化方法的优势

1.  **极限压缩**：AQLM 可以在每个参数低至 2-3 位的情况下对模型进行压缩。它是第一个在这种极端压缩下依然保持精度和模型大小之间帕累托最优的方案，尤其是在 2 位量化方面表现突出。
    
2.  **精度和速度**：AQLM 在极低的位数下依然保持了高精度，并且在速度上可以匹配甚至超过优化过的 FP16 实现，同时占用更少的内存空间。
    
3.  **实用性**：AQLM 提供了 GPU 和 CPU 的高效实现，用于生成文本。它在速度上与浮点数基线相当，内存占用减少了多达 8 倍。
    


![](https://files.mdnice.com/user/72399/e2075889-7223-4ed1-9cfc-0b36b4cc1ad9.png)


## 之前的方法（AWQ,GPTQ,SPQR,QUIP）

1.  **精度损失**：现有方法在极端低比特率下会导致显著的精度下降，需要更复杂的实现和更高的运行时开销。
    
2.  **模型大小与精度的权衡**：低比特率压缩方法常常需要权衡模型大小和精度损失，这在 2 位范围内尤为明显。传统方法在处理 2 位量化时，实用性不如直接使用较小的基础模型并将其量化至更高比特率。
    

## 算法原理

AQLM 方法将加性量化应用到大语言模型的权重矩阵上，并在输入自适应的基础上进行学习，联合优化每个 Transformer 块中的码书参数。该方法基于经典的信息检索中的多码书量化（MCQ）技术：

1.  **学习加性量化**：权重矩阵通过加性量化的方式进行学习，使得量化后的权重矩阵输出可以近似地保持原来的输出。
    
2.  **联合优化**：对 Transformer 块中的码书参数进行联合优化，以减少量化误差。这种方法避免了需要对异常值进行独立量化，从而保持了简单的同构格式，易于实际应用。
    

具体的实现：

![](https://files.mdnice.com/user/72399/1e885776-3d26-4691-9489-c4659e79626c.png)


### 1. 预处理和初始化

*   **权重矩阵分解**：将模型的权重矩阵 WWW 分解为多个较小的矩阵，以便于进行量化。假设我们将权重矩阵分解为 KKK 个码书矩阵 CiC\_iCi​，使得 W≈∑i=1KCiW \approx \sum\_{i=1}^K C\_iW≈∑i=1K​Ci​。
    
*   **码书初始化**：每个码书矩阵 CiC\_iCi​ 都使用随机或其他策略进行初始化，以便后续的优化。
    

### 2. 训练阶段

*   **码书学习**：在训练过程中，通过反向传播和优化算法（如随机梯度下降），同时优化码书矩阵 CiC\_iCi​ 和原始模型的其余参数。目标是最小化量化误差和原始模型输出之间的差距。
    
*   **加性更新**：在每个训练步骤中，权重矩阵通过加性更新的方式更新，即 W′=∑i=1KCiW' = \sum\_{i=1}^K C\_iW′=∑i=1K​Ci​，不断调整码书矩阵以更好地逼近原始权重矩阵。
    
*   **误差反馈**：使用误差反馈机制，通过比较量化模型的输出和未量化模型的输出，指导码书矩阵的更新方向和幅度。
    

### 3. 量化阶段

*   **量化编码**：将训练好的码书矩阵进行编码，使其在给定的位宽（如 2 位或 3 位）内表示。每个码书矩阵的值映射到特定的量化级别，以减小表示的浮点数精度。
    
*   **联合优化**：通过联合优化技术，调整每个 Transformer 块的码书参数，使得整体模型在量化级别下的输出误差最小化。
    

## 实验结果

1.  **精度表现**：AQLM 在标准的 2-4 位压缩范围内的表现都优于之前的最优方法，尤其在极限的 2 位量化中有显著的提升。
    
2.  **性能提升**：AQLM 可以实现大约 30% 的 GPU 层级加速，并在 CPU 推理中达到高达 4 倍的加速。
    

综上所述，AQLM 通过引入加性量化和联合优化技术，实现了在极限压缩条件下依然保持高精度和性能的优势。

![](https://files.mdnice.com/user/72399/284f82ba-23f1-4314-8fc4-bdd9a0be3f14.png)


## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.一对一的一小时咨询服务（49/次）

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

模型极限压缩论文笔记

![wOPOaD2tWS6CSlpjmUZHD46ZwXPj8VCUWVM701lTO9M.jpg](/static/img/0491302394286195116f0f4da5506899.wOPOaD2tWS6CSlpjmUZHD46ZwXPj8VCUWVM701lTO9M.webp)





<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>
# Mixture-of-Subspaces in Low-Rank Adaptation

论文：[https://arxiv.org/abs/2405.15179](https://arxiv.org/abs/2405.15179)

github:[https://github.com/wutaiqiang/MoSLoRA](https://github.com/wutaiqiang/MoSLoRA)

##  背景

LoRA 通过在预训练权重上添加低秩分支来进行微调，从而减少了需要更新的参数量。然而，LoRA 在适应复杂任务时仍有局限性，**主要在于其无法充分捕捉子空间之间更复杂的关系**。为了提升性能，探索如何更好地混合这些低秩子空间的信息。

为了解决 LoRA 的不足，研究人员提出了一种新的子空间混合方法——**Mixture-of-Subspaces LoRA (MoSLoRA)。**MoSLoRA 通过引入一个**可学习的混合器来融合多个子空间**，从而灵活地捕捉更多信息。这种方法在多个基准测试中表现优异，**显著提升了模型的鲁棒性和准确性，同时引入的额外参数和计算开销可以忽略不计**

## 方法论


![](https://files.mdnice.com/user/72399/8cd2c753-a3c0-49b3-90f1-a91ffebc5b47.png)

**第一个表达式** `x(A1B1 + A2B2)`：

*   这里使用的是传统的 LoRA 分解方式，即将矩阵 A 分解为两个子空间 A1 和 A2，矩阵 B 分解为 B1 和 B2。
    
*   然后，分别在子空间内进行相乘（A1 与 B1，A2 与 B2），再将结果相加。
    
*   这种方法在保持模型参数减少的同时，还能有效保持一定的模型表现。
    

**第二个表达式** `x(A1B1 + A2B2 + A1B2 + A2B1)`：

*   这是在“Mixing Two Subspaces”策略下引入的一种新方法。
    
*   不仅包含了原始的乘积（A1B1 和 A2B2），还增加了交叉项（A1B2 和 A2B1）。
    
*   这些额外的交叉项旨在探索更复杂的组合方式，可能会捕捉到更多的特征关系，从而提升模型的表现。
    

#  低秩适应 (LoRA) 方法对比
##  1. Vanilla LoRA

最基本的低秩适应方法。

公式：

```

∑(i=1 to r) Ai \* Bi

```

其中，Ai ∈ R^(d1×1)，Bi ∈ R^(1×d2)，r 是秩。

特点：简单直接，但信息交互有限。

## 2. Two-subspaces-mixing LoRA

通过混合相邻子空间增强信息交流。

公式：

```

∑(i=1 to r/2) (Ai + Ai+r/2) \* (Bi + Bi+r/2)

```

特点：每对相邻子空间（如 A1 和 A3，B1 和 B3）进行混合，增加信息交互。

##  3. MoSLoRA (Proposed)

引入可学习的混合器来融合更多信息。

公式：

```

∑(i=1 to r) ∑(j=1 to r) wij \* Ai \* Bj
```

其中，wij 是可学习的权重。

特点：最灵活，允许所有 Ai 和 Bj 之间的交互，可学习最优混合策略。

## 组合视图对比

**Vanilla LoRA**: A 和 B 之间是固定连接。

**Two-subspaces-mixing LoRA**: A 和 B 之间有固定混合模式。

**MoSLoRA**: A 和 B 之间有可训练混合器，允许更灵活的信息融合。

MoSLoRA 的主要优势在于其灵活性和学习能力，可根据具体任务自适应调整子空间交互，潜在获得更好性能。
![](https://files.mdnice.com/user/72399/f30b4039-3bf3-4ee7-8b71-f11adec860be.png)

## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.一对一的一小时咨询服务（49/次）

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

# Mixture-of-Subspaces in Low-Rank Adaptation

![640.jpg](/static/img/8019f001bc54682a86dc1e018e6f5ffa.640.webp)


<section id="nice" data-tool="mdnice编辑器" data-website="https://www.mdnice.com"><center data-tool="mdnice编辑器">
<blockquote class="multiquote-1">
<center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
<center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
<center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
<center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>
</blockquote>
</center>

<h2 data-tool="mdnice编辑器"><span class="prefix"></span><span class="content">链接</span><span class="suffix"></span></h2>
<blockquote class="multiquote-1" data-tool="mdnice编辑器">
<p>https://arxiv.org/pdf/2203.02155</p>
</blockquote>
<h2 data-tool="mdnice编辑器"><span class="prefix"></span><span class="content">提出动机</span><span class="suffix"></span></h2>
<p data-tool="mdnice编辑器">GPT-3虽牛，但仍会生成一些带偏见、不真实、有害的负面信息，有时候一本正经胡说八道。这从做研究的角度来看，确实没啥，因为你只要在某个数据集上碾压对手，那就是牛的。但对于工业实践来说，你带有这些问题的话，特别是对于大公司来说，肯定会被用户骂死，骂到产品下线为止。</p>
<p data-tool="mdnice编辑器">且GPT-1, GPT-2, GPT-3的主要任务还是续写即文字接龙，不太擅长与听你指令干活。比如，你输入“给我写一份方案”，GPT很可能输出的是“主题是关于如何入门深度学习”，而不是给你生成出一份方案。</p>
<p data-tool="mdnice编辑器">InstructGPT因此而提出，它提出了一个叫 “align” 即对齐的概念，指的是使模型输出与人类真是意图更为接近，即对齐，更符合人类偏好。</p>
<p data-tool="mdnice编辑器">原文链接：</p>
<h2 data-tool="mdnice编辑器"><span class="prefix"></span><span class="content">试验结果前置</span><span class="suffix"></span></h2>
<figure data-tool="mdnice编辑器"><img src="https://files.mdnice.com/user/72399/c110662a-42c2-4b0e-9d20-cc1c5f973a43.png" alt=""></figure>
<h2 data-tool="mdnice编辑器"><span class="prefix"></span><span class="content">高级方法论（细节）</span><span class="suffix"></span></h2>
<figure data-tool="mdnice编辑器"><img src="https://files.mdnice.com/user/72399/86cccddf-64c6-45e5-8621-5c44c36a5331.png" alt=""></figure>
<blockquote class="multiquote-1" data-tool="mdnice编辑器">
<p>1、SFT有监督微调。</p>
<p>2、训练奖励模型</p>
<p>3、强化学习PPO</p>
</blockquote>
<ul data-tool="mdnice编辑器">
<li><section><p>步骤一：收集示范数据，训练监督策略。我们的贴标机提供恶魔-输入提示分布上所需行为的示例（有关此分布的详细信息，请参阅第 3.2 节）。然后，我们使用监督学习根据这些数据微调预训练的 GPT-3 模型。
<code>这里InstructGPT的数据为人工标的高质量数据，方法和普通的sft微调没有什么区别，只是为后续提供一个基座模型</code></p>
</section></li><li><section><p>步骤2：收集比较数据，训练奖励模型。我们收集模型输出之间比较的数据集，其中标记器指示他们对于给定输入更喜欢哪个输出。然后，我们训练奖励模型来预测人类偏好的输出。
``</p>
</section></li><li><section><p>步骤 3：使用 PPO 针对奖励模型优化策略。我们使用 RM 的输出作为标量奖励。我们使用 PPO 算法微调监督策略以优化此奖励（Schulman 等人，2017）。
<code> </code></p>
</section></li></ul>
<p data-tool="mdnice编辑器">步骤2和步骤3可以不断迭代；收集更多当前最佳策略的比较数据，用于训练新的 RM，然后训练新的策略。实际上，我们的对比数据大部分来自我们的监管政策，也有一些来自我们的PPO政策。</p>
<h2 data-tool="mdnice编辑器"><span class="prefix"></span><span class="content">引用</span><span class="suffix"></span></h2>
<p data-tool="mdnice编辑器">https://blog.csdn.net/weixin_43646592/article/details/130811139</p>
<h2 data-tool="mdnice编辑器"><span class="prefix"></span><span class="content">Bob 的产品</span><span class="suffix"></span></h2>
<p data-tool="mdnice编辑器">1.【Bob 的 AI 成长陪伴群】门票 99/年</p>
<p data-tool="mdnice编辑器">🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等</p>
<p data-tool="mdnice编辑器">🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。</p>
<p data-tool="mdnice编辑器">2.一对一的一小时咨询服务（49/次）</p>
<p data-tool="mdnice编辑器">找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！</p>
<figure data-tool="mdnice编辑器"><img src="https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg" alt=""></figure>
</section>

模型对齐

<image src="/static/img/d86c915613b0d56ea02a818bbd5c6dea.865a834d5176e23bb0cd3514cce80b76.webp" width="100%" height="200px">



# 模型调参

### 首先需要牢记一个点：模型选型和数据质量决定了任务的底线，而调参只是锦上添花（也可能雪上加霜）的工作

所以优先考虑模型与数据，再考虑微调，能不调就不调。

## 模型与数据

#### 任务

首先要明确任务是分类、回归、生成、排序

#### 模型架构

不同的模型架构在同意任务上的性能不一。选择合适的架构（gpt,bert,T5等等）。

#### 模型复杂度

选择一个与数据复杂度相匹配的模型大小。模型过于简单可能导致欠拟合，而过于复杂则可能过拟合。

#### 计算资源

考虑可用的GPU、内存和计算时间。复杂模型往往需要更多资源

#### 数据特性

考虑数据的维度、规模、结构（如图像、文本、时序数据等）和质量

## 训练参数调整（Train）

### Loss function

如果你使用transfomers，他会根据你的任务来做调整。一般是交叉损失。。具体使用MSE、Cross entropy、Focal还是其他自定义，需要具体问题具体分析。

### batch\_size

batch size不能太大，也不能太小，一般设置为4的倍数。

1.  太小会浪费计算资源，
    
2.  太大则会浪费内存;
    

特殊情况：**batch size 在表示学习，对比学习领域一般越大越好，显存不够batch\_size小，累计梯度来凑，否则模型可能不收敛… 其他领域看情况**;

### learning\_rate

一般nlp bert类模型在**2e-5**级别附近,范围一般在（1e-5~5e-3），warmup，衰减

前期warnup是为了防止梯度爆炸，让模型训练更加稳定。因为模型权重初始是随机的

中期期warmup后，高学习率是跳出局部最优。

后期学习率（如consin）退火是为了减少震荡，稳定地收敛，找到全局最优。

### Epoch number

Epoch过大，会浪费计算资源;epoch太小，则训练模型提取特征没到极致；，

由于任务的复杂程度不一样，需要输出loss看一下，在什么位置收敛稳定。

可以设置**epoch\_num=3**，调大一点，利用好check\_point。观察模型收敛稳定， 及时stopping；

###  Optimizer

Adam

### Activation function

ReLu、Sigmoid、Softmax、Tanh是最常用的4个激活函数。

对于输出层，常用sigmoid和softMax激活函数，中间层Q常用ReLu激活函数，RNN常用Tanh激活函数。

### Regularization

Dropout虽然思想很简单，但效果出奇的好，现在大部分任务都需要使用预训练型，要注意型内部dropout ratio是一个很重要的参数，首选0.05，

## 微调方案LORA

**r**: `rank`也就是LoRA的低秩的秩的大小)，较小的 r 导致更简单的低秩矩阵，从而导致在适应过程中学习的参数更少,模型的复杂度变低。。这可以加快训练速度，并可能降低计算需求，但是低秩矩阵捕获特定于任务的信息的能力就会降低。可能会导致模型难以收敛。

（**默认值是8），建议4/8/16.视任务复杂情况来确定。**

**alpha:**`alpha` 是一个比例因子，这个系数用于在前向传播过程中将 LoRA 权重应用于预训练之中，用于调整组合结果的大小（原始模型输出加上低秩适应）。**一般16**，alpha越大lorad的影响就越大，反之越小。

**将alpha值设置为r的两倍是一个常见的经验法则**

## 模型量化BitsAndBytes

如果资源有限，一般使用bitsandbytes进行量化**。一般选择4、8位， 考虑现有算力资源。**

推荐**FP8**，数据表示位数的降低带来了更大的吞吐和更高的计算性能，虽然精度有所降低，但是在 LLM 场景下，采用技术和工程手段，FP8 能够提供与更高精度类型相媲美的结果，同时带来显著的性能提升和能效改善。

### 5.2 过拟合（Overfitting）

*   过拟合（Overfitting）危害：过拟合的特征是训练误差很低，而验证或测试误差较高
    
*   过拟合（Overfitting）发生原因：过拟合则是模型在训练数据上表现过于优秀，以至于它学习到了训练数据中的噪声和偶然特性，而不是数据的真实分布。这导致模型在未见过的测试数据上的表现显著下降。
    
*   解决过拟合（Overfitting）的方法包括：
    

1.  **增加训练数据**：更多的数据可以帮助模型更好地泛化。
    
2.  **正则化**：通过在损失函数中加入正则项（如L1、L2正则化），限制模型参数的大小，避免参数过度优化训练数据中的细节。
    
3.  **早停法（Early Stopping）**：在验证集上的性能不再提升时停止训练。
    
4.  **交叉验证**：使用K折交叉验证等方法更准确地评估模型性能，避免过拟合。
    
5.  **Dropout**：随机“丢弃”一部分神经元，减少模型对特定训练样本的依赖。
    
6.  **数据增强**：通过变换原始数据生成额外的训练样本，增加模型的泛化能力。
    
7.  **简化模型**：减少模型复杂度，如减少神经网络的层数或节点数，避免不必要的复杂性。
    

## trick 7：Normalization 选择问题

GN，BN和LN都是在神经网络训练时的归一化方法，BN即Batch Normalization，LN即Layer Normalization。

*   BatchNorm：batch方向做归一化，计算N_H_W的均值
    
*   LayerNorm：channel方向做归一化，计算C_H_W的均值
    
*   InstanceNorm：一个channel内做归一化，计算H\*W的均值
    
*   GroupNorm：先将channel方向分group，然后每个group内做归一化，计算(C//G)_H_W的均值
    

GN与LN和IN有关，这两种标准化方法在训练循环（RNN / LSTM）或生成（GAN）模型方面特别成功。

*   如何选择：序列输入上LN，非序列上BN

模型调参

![image.png](/static/img/900c49addec7e48e00abc945db116eb2.image.webp)




> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>
>
  
# LLama.cpp项目，在cpu上部署模型

llama.cpp原生支持大规模语言模型的量化，并且一如既往地保持了灵活性。

在高层次上，llama.cpp所支持的所有量化都是权重量化(weight quantization)：模型参数被量化为低位(bit)数，在推理过程中，它们会被反量化(dequantize)并用于计算。

*   纯粹的C/C++实现，没有外部依赖
    
*   支持广泛的硬件：
    
    *   x86\_64 CPU的AVX、AVX2和AVX512支持
        
    *   通过Metal和Accelerate支持Apple Silicon（CPU和GPU）
        
    *   NVIDIA GPU（通过CUDA）、AMD GPU（通过hipBLAS）、Intel GPU（通过SYCL）、昇腾NPU（通过CANN）和摩尔线程GPU（通过MUSA）
        
    *   GPU的Vulkan后端
        
*   多种量化方案以加快推理速度并减少内存占用
    
*   CPU+GPU混合推理，以加速超过总VRAM容量的模型
    

它就像 Python 框架 `torch`+`transformers` 或 `torch`+`vllm` 的组合，但用的是 C++。

GitHub link:

[https://github.com/ggerganov/llama.cpp](https://github.com/ggerganov/llama.cpp)

中文文档：

[https://qwen.readthedocs.io/zh-cn/latest/run\_locally/llama.cpp.html#conversation-mode](https://qwen.readthedocs.io/zh-cn/latest/run_locally/llama.cpp.html#conversation-mode)

## 简单部署

1.  获取 `llama-cli` 程序
    

```plaintext
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
```
```plaintext
make llama-cli
```

## 获取 GGUF模型

直接从model scope下载：

```python
import os
import subprocess



def download_model(model_name:str,model_file:str='',dir:str=''):
    path=dir+model_name.split('/')[-1]
    try:
        subprocess.run(['modelscope', 'download', '--model',model_name,model_file,'--local_dir',path], check=True)
        print(f"Model '{model_name}' downloaded successfully.")
    except subprocess.CalledProcessError as e:
        print(f"Error downloading model '{model_name}': {e}")

```
```python
download_model("Qwen/Qwen2-0.5B-Instruct-GGUF","qwen2-0_5b-instruct-fp16.gguf")
```

## 运行模型

```python
./llama-cli -m /home/phb/phb/models/Qwen2-0.5B-Instruct-GGUF/qwen2-0_5b-instruct-fp16.gguf     -co -cnv -p "You are a helpful assistant."     -fa -ngl 80 -n 512
```

**\-m 或 –model:**

显然，这是模型路径。

**\-co 或 –color:**

为输出着色以区分提示词、用户输入和生成的文本。提示文本为深黄色；用户文本为绿色；生成的文本为白色；错误文本为红色。

\-**cnv 或 –conversation:**

在对话模式下运行。程序将相应地应用聊天模板。

**\-p 或 –prompt:**

在对话模式下，它作为系统提示。

**\-fa 或 –flash-attn:**

如果程序编译时支持 GPU，则启用Flash Attention注意力实现。

**\-ngl 或 –n-gpu-layers:**

如果程序编译时支持 GPU，则将这么多层分配给 GPU 进行计算。

**\-n 或 –predict:**

要预测的token数量。

## 自定义模型运行

**HF格式转GGUF**

使用我已经lora微调+合并的模型文件转GGUF

[https://qwen.readthedocs.io/zh-cn/latest/quantization/llama.cpp.html](https://qwen.readthedocs.io/zh-cn/latest/quantization/llama.cpp.html)

```python
python convert_hf_to_gguf.py /home/phb/phb/merge_model/sft-Qwen2-0.5B-Instruct
--outfile /home/phb/phb/GGUF_model/Qwen2-0.5B-instruct-f16.gguf
```

这个命令默认会加载保存为16位

但是建议使用fp32。无论是直接加载还是用于作为量化的起点都很好。

```python
python convert_hf_to_gguf.py /home/phb/phb/merge_model/sft-Qwen2-0.5B-Instruct --outtype f32  
--outfile /home/phb/phb/GGUF_model/Qwen2-0.5B-instruct-f32.gguf
```

**量化GGUF**

```python
./llama-quantize  /home/phb/phb/GGUF_model/Qwen2-0.5B-instruct-f32.gguf  /home/phb/phb/GGUF_model/Qwen2-0.5B-instruct-q8_0.gguf  Q8_0
```

支持的参数：

![image.png](/static/img/aac670f5e092b5baf74a870701391798.image.webp)
**启动模型推理**

```python
./llama-cli -m /home/phb/phb/GGUF_model/Qwen2-0.5B-instruct-f16.gguf     -co -cnv -p "You are a helpful assistant."     -fa -ngl 80 -n 512
```

![image.png](/static/img/b653672b5011d1706343840e01df9601.image.webp)




#  

##  Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 🎫99💰/年。

2.【AI+老人回忆录制作】正在运营，有需求 或者 想加入 可微信私聊。

3.【语音咨询】：99💰/小时

群里分享讨论:

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

扫码加微信，链接不迷路！

![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/08/07/1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.jpg)

LLama.cpp在cpu上部署模型

这里分享实用的项目经验、独到的面试技巧，以及对AI技术趋势的前瞻性思考，帮助你在AI领域找到自己的定位。一起探索，一起成长，一起破圈。