<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>

`这几天打算整理一下学过的知识。手写笔记整理+代码理解`，记录自己的学习




# transformer
包括`笔记`和`代码` 

## 详细的代码
如果有不明白的地方，可以看代码加深理解！！！

```
https://github.com/phbst/notes/blob/main/transformer!%20(1)/transformer.ipynb

```

## 分享自己的笔记

### transformer架构以及数据流
这里写错了一点：
下三角的掩码矩阵是在训练阶段的decoder的子注意力阶段进行，防止看到未来信息。

![image.png](/static/img/f654dd9c2c33171a751f424df3830b30.image.webp)

### 不同阶段注意力

![image.png](/static/img/b25fbe518a562589adf8ebe68e170162.image.webp)
### 小细节

![image.png](/static/img/7eaabc268f06934aa9a90e5268c1a7c6.image.webp)



## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.一对一的一小时咨询服务（49/次）

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

transformer代码

![image.png](/static/img/057a56a0ed3a3a5de87fb31947e1f0ac.image.webp)



>BERT：深度双向转换器的预训练用于语言理解，由Google AI Language提出的BERT，发表于2019年NAACL，并超过31000次引用

BERT，即双向编码器变换（Bidirectional Encoder Representations from Transformers），通过在所有层次上联合条件地对未标记文本进行预训练，从而生成深度的双向表示。
这个预训练的BERT模型可以通过仅添加一个额外的输出层进行微调，创建出在各种任务上具有最先进性能的模型，如问答和语言推理，而无需进行大量的特定任务架构修改。
这是一种自监督学习，其中预设任务是语言模型学习，而具体任务则是通过微调进行的下游任务。


## 1. BERT: Bidirectional Encoder Representations from Transformers

### 1.1. BERT的训练步骤

BERT框架中有两个步骤：预训练和微调。
在pre-training期间，模型在未标记的数据上进行训练。
对于fine-tuning，BERT模型首先使用预训练的参数进行初始化，然后使用来自下游任务的标记数据进行微调。

### 1.2. BERT模型架构

![image.png](/static/img/80c7eebdb57a2380d5217e970ec5fb95.image.webp)
BERT使用了一个双向的Transformer。 OpenAI的GPT使用了一个由左到右的Transformer。ELMo则使用了独立训练的由左到右和由右到左的LSTM的串接。

BERT的模型架构是基于Transformer的多层双向编码器。实现方式与原始版本几乎相同。
层数（即Transformer块）的数量用L表示，hidden size用H表示，self-attention heads用A表示。

有两种模型大小可供评估：

BERTBASE（L=12，H=768，A=12，总参数=110M），与OpenAI的GPT具有相同的模型大小，用于比较目的。 

BERT的Transformer使用双向self-attention，而GPT的Transformer使用了限制的self-attention，其中每个token只能关注其左侧的内容。

BERTLARGE（L=24，H=1024，A=16，总参数=340M）。

### 1.3. Input Representation

![image.png](/static/img/e626f7801718efa40b2461704b98ec49.image.webp)
BERT input representation
为了使BERT能够处理各种下游任务，输入表示能够明确表示单个句子和一对句子（例如，<Question, Answer>）的序列。
使用具有30,000个令牌词汇的WordPiece嵌入（Wu et al.，2016）。
每个序列的第一个令牌始终是一个特殊的分类token（[CLS]）。
使用一个特殊的token（[SEP]）进行分隔。
对于给定的token，其输入表示是通过将相应的token、segment和position embeddings相加来构造的。如上图所示，这种构造的可视化。

## 2. BERT的预训练

### 2.1. Masked LM (MLM)

输入token的一部分会被随机遮罩，然后对这些屏蔽的token进行预测。

在每个序列中，随机屏蔽15％的WordPiece token。

只预测被屏蔽的词语，而不是重构整个输入。

如果选择了第i个token，则将第i个token替换为（1）有80%的机率将该token替换为[MASK] token（2）10%的机率替换为随机token（3）10%的机率保持不变。然后，Ti将用于使用cross entropy loss预测原始token。

### 2.2. Next Sentence Prediction (NSP)

下游任务，如问答（QA）和自然语言推理（NLI），是基于理解两个句子之间的关系，而这并不是语言建模直接捕捉的。首先进行了二元化的下一句预测任务的预训练，这可以从任何单语语料库轻松生成。
具体来说，在选择每个预训练示例的句子A和B时，有50%的机率B是实际跟在A后面的下一句（标记为IsNext），另外50%的机率B是来自语料库的随机句子（标记为NotNext）。

### 2.3. Pretraining Dataset

对于预训练语料库，使用了BooksCorpus（800M字）（Zhu et al., 2015）和English Wikipedia（2,500M字）。
对于维基百科，仅提取文本段落，忽略列表、表格和标题。

## 3. Fine-Tuning BERT

![image.png](/static/img/14d713623f4ee7aabc3ecf17091c8088.image.webp)
Illustrations of Fine-tuning BERT on Different Tasks
对于每个任务，任务特定的输入和输出只需插入到BERT中，并且所有参数都进行端到端的微调。

在输入端，预训练的句子A和句子B对应于（1）重述中的句子对，（2）蕴含中的假设-前提对（3）问答中的问题-段落对，以及（4）文本分类或序列标记中的退化文本-Ø对。
在输出端，token表示被喂入一个输出层，用于token级任务，例如序列标记或问答，而[CLS]表示则被喂入一个输出层，用于分类，例如蕴涵或情感分析。
相较于预训练，微调的成本相对较低。在一个单一的Cloud TPU上，所有论文中的结果最多只需1小时，或在GPU上几小时就能复制。

## 4. SOTA Comparison
### 4.1. GLUE

![image.png](/static/img/ca97e8f609365cb191c44b2b97746f8c.image.webp)
GLUE通过评估服务器进行测试的结果
在微调过程中，只引入了分类层的权重W，其中K是标签的数量。使用标准的分类损失函数C 和W，即log(softmax(CW^T))。
BERTBASE和BERTLARGE在所有任务上均大幅优于先前的顶尖系统，分别相对于先前的最新技术提高了4.5％和7.0％的平均准确率。

需要注意的是，BERTBASE和OpenAI的GPT在模型架构上几乎相同，除了attention masking。
对于最大且报告最广泛的GLUE任务MNLI而言，BERT在绝对准确率上提高了4.6％。根据GLUE的官方排行榜，BERTLARGE的得分为80.5，而OpenAI的GPT在撰写本文时的得分为72.8。

### 4.2. SQuAD 1.1.

![image.png](/static/img/fdf0d91b6fd50828ffdcc5c4ac9f68cb.image.webp)
SQuAD 1.1的结果。 BERT合奏是使用不同的预训练检查点和微调种子的7个系统
斯坦福问答数据集(SQuAD v1.1)是一个由10万个众包问题/答案对组成的集合。
输入的问题和段落被表示为一个单一的打包序列，其中问题使用A嵌入，段落使用B嵌入。
在微调过程中，只引入了开始向量S和结束向量E。
词i是答案范围开始的机率，计算方式是将Ti和S进行内积，然后对段落中的所有词进行softmax：

结束的答案范围也是类似的。
从位置i到位置j的候选范围的得分定义如下：

使用得分最高的范围j≥i，作为预测。
最佳的BERT在集成中比领先的系统提高了+1.5 F1，在单一系统中提高了+1.3 F1。事实上，单一BERT模型在F1分数方面超越了顶级集成系统。

### 4.3. SQuAD 2.0

SQuAD 2.0的结果
SQuAD 2.0任务扩展了SQuAD 1.1的问题定义，允许提供的段落中可能不存在简短答案，使问题更现实

相较于先前最佳系统，观察到了+5.1的F1改进。

### 4.4. SWAG

SWAG开发和测试的准确性(使用100个样本测量人类表现)
Situations With Adversarial Generations (SWAG)数据集包含11.3万个句子对完成示例，用于评估基于常识推理的推断。
给定一个句子，任务是在四个选择中选择最合理的继续。
在SWAG数据集上进行微调时，构造了四个输入序列，每个序列都包含给定句子（句子A）和可能的继续（句子B）的串联。
BERTLARGE比作者的baseline ESIM+ELMo系统提高了+27.1％，比OpenAI的GPT提高了8.3％。

## 5. Ablation Study
### 5.1. Effect of Pre-Training Tasks

使用BERTBASE架构的消融预训练任务
“No NSP”是在没有下一句预测任务的情况下进行的训练。
“LTR＆No NSP”被训练为一个从左到右的语言模型，没有下一句预测，就像OpenAI的GPT一样。
“+ BiLSTM”在微调期间在“LTR + No NSP”模型上添加了一个随机初始化的双向LSTM。
在QNLI，MNLI和SQuAD 1.1上，去除NSP会严重影响性能。
LTR模型在所有任务上的性能都比MLM模型差，MRPC和SQuAD的性能下降较大。
### 5.2. Effect of Model Size

来自5个随机重启的对GLUE进行微调的平均开发集准确性
更大的模型在所有四个数据集上都带来严格的准确度提升，即使对于MRPC，它只有3,600个标记的训练示例，并且与预训练任务差异很大。
这是第一个令人信服地证明，将模型扩展到极端大小也会在非常小规模的任务上实现显著的改进，前提是模型已经得到足够的预训练。
### 5.3. Feature-based Approach with BERT

CoNLL-2003命名实体识别结果
到目前为止，所有的BERT结果都使用了微调方法，即在预训练模型上添加了一个简单的分类层，并且在下游任务上联合微调所有参数。
然而，这里评估了基于特征的方法，即从预训练模型中提取固定特征，有两个原因：
首先，并非所有任务都可以通过Transformer编码器架构轻松表示。
其次，主要的计算优势可以被预先计算。
特征为基础的方法是通过从BERT的一个或多个层中提取激活，而不对BERT的任何参数进行微调来应用。
这些embeddings内容被用作分类层之前的一个随机初始化的双层768维双向LSTM的输入。
表现最佳的方法是将预训练Transformer的前四个隐藏层的token表示串接在一起，与微调整个模型相比仅差0.3的F1 Score。

这表明BERT对微调和基于特征的方法都是有效的。

Bert论文

![4321f6a6e2c548e28ad2e0d4b6ad9cd2.jpeg](/static/img/ba87e176137d458e296b4bf6bfd602bf.4321f6a6e2c548e28ad2e0d4b6ad9cd2.webp)



**论文参考：**

[GPT1—language_understanding_paper](https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf)

[GPT2—language_models_are_unsupervised_multitask_learners](https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf)

[GPT-3 Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)




**Generative Pre-trained Transformer（GPT）系列是由 OpenAI 提出的非常强大的预训练语言模型，这一系列的模型可以在非常复杂的 NLP 任务中取得非常惊艳的效果，例如文章生成，代码生成，机器翻译，问答等，而完成这些任务甚至 并不需要有监督学习进行模型微调** 。

本文梳理了 GPT 系列文章中介绍的的关键技术，包括：

- GPT-1 的解码器、微调、输入形式；
- GPT-2 的 Zero-shot 和 Prompt；
- GPT-3 的 Few-shot；
- Instruct GPT 如何通过基于人类反馈的强化学习生成有帮助的和安全的文本。








---


# GPT1:

**作者提出问题：**

1.用什么样的优化函数

2.怎么把模型迁移到所有子任务上

**预训练**

无监督学习

预测一个联合文本出现的概率，通过最大化这个概率来训练

![](https://pic2.zhimg.com/v2-3a91bdaf472bac1d7639d5edba606d33_r.jpg)

GPT-1 使用的是一个标准的语言模型，在训练时使用 Transformer 的 解码器 。在解码器中，会将一个词之后的文本进行掩码，因此解码器只能看到一个词之前的文本，不能看到之后的文本。

![](https://pica.zhimg.com/v2-bc399cef11639000a3bea7dafc6bf97a_r.jpg)

![](https://pic3.zhimg.com/v2-c7ec497ff48077ee82a8b8cfe9882c16_r.jpg)

训练 GPT 时，模型只能看到前文来预测后文，而 BERT 可以看到上下文来预测中间部分。GPT 得到的输入信息更少，这就导致训练 GPT 比训练 BERT 难很多。

**微调：**

第一个目标函数是在预测下一个词，给定一个序列，预测下一个词：

![](https://pic4.zhimg.com/v2-ec28e4e9e6b0a6adffe4c36364e9c471_r.jpg)

第二个目标函数是在做多分类任务，给定所有序列，预测它的标签：

![](https://pica.zhimg.com/v2-c9fe816118df739eef5659ff283e42fe_r.jpg)

文章中作者提到，把这两个目标函数结合一起训练，效果会更好，可以提高模型的泛化性，最终优化成的函数：

![](https://pic3.zhimg.com/v2-2652b3757c77d8e2af672b4433c9dbc8_r.jpg)

**构造不同输入来适应下游子任务：**

作者在最开始有提到怎么去把模型迁移到不同的子任务的问题，也是此文的一个买点

此处就有解释，就是说把输入通过加入一些字符，比如<start><premise><extract>等，去及微调，这样在预测时，模型就可以分辨出，这是属于哪类任务范畴，比如图片中的相似度，多分类等。

![](https://pic4.zhimg.com/v2-d9823af5feb59f26d53564af42261a79_r.jpg)

至此GPT1大部分重点已经讲完了，详细可以看哔哩哔哩李沐老师的视频。





---


**GPT2**

**GPT1，Bert模型存在两个个问题：**

- 对每一个下游任务需要重新训练
- 收集有标号的数据

**zero-shot:**

相较于GPT1，GPT2的参数量增加，且提出了zero-shot,可以简单理解为使用大量数据集，提高模型泛化性，以适应下游任务。

zero-shot: 在做到下游任务的时候，不需要下游任务的任何标注信息，那么也不需要去重新训练已经预训练好的模型。这样子的好处是我只要训练好一个模型，在任何地方都可以用。











---


**GPT3**

**下游任务：**

相较于GPT-2，GPT-3在下游方面又有了一些改进，它利用少量样本去学习，也就是 Few-shot。

**few-shot:**

**指在下游任务中给出少量样本让模型学习，但不进行模型参数的更新**

因为GPT-3模型参数量太大，重新训练困难

例如：把英文翻译成中文

few-shot: hello  —>  你好

你可以简单地理解为**”举一反三“**或者 **prompt 提示**。在输入问题时，告诉它一些例子。具体信息可以看下面的图片。

![](https://pic1.zhimg.com/v2-307ba576ae3e4777fc16d4ab01017c5e_r.jpg)

实验结果如下：

可见Few Shot 的效果还是很可观的

![](https://pic4.zhimg.com/v2-90110216d6d78ceea543a312920d5ab3_r.jpg)

**数据处理：**

由于GPT3的数据量需要很大来提高泛化性。

但是有些数据质量不佳，有很大噪音，影响模型性能。

**所以作者使用一些低质量数据和高质量数据训练了一个模型，最后使用它来区分高质量数据**

**使用lsh算法，来区分相似度高的数据 **

GPT 1 ,2 ,3 论文

![image.png](/static/img/b04bb1e8d87efd8eb7a058854cf42fc4.image.webp)

## 背景：
### one-hot编码有大量缺点
高维稀疏表示：One-hot编码将每个词表示为一个高维稀疏向量，向量的维度等于词汇表的大小。对于大规模的词汇表，会导致非常高维的表示，造成存储和计算的开销增加。

无法捕捉词之间的语义关系：One-hot编码中，每个词的向量是独立的，没有考虑词之间的语义关系。因此，无法直接通过向量计算来衡量词之间的相似度或语义距离。

维度灾难：随着词汇表的增大，One-hot编码的维度也会增加，这可能导致维度灾难问题。高维度的表示会增加模型的复杂度和计算开销，并且在有限的数据情况下容易过拟合。

无法处理未见过的词：One-hot编码的词汇表是固定的，如果遇到未见过的词，无法进行有效的表示。这在现实世界的文本数据中很常见，特别是在处理新闻、社交媒体等动态数据时。

## Word2vec介绍：
Word2vec是一类神经网络模型

类型分为CBOW与Skip-gram


![image.png](/static/img/b04bb1e8d87efd8eb7a058854cf42fc4.image.webp)

### CBOW
给定词的上下文，预测该词。一个老师告诉多个学生，Q矩阵怎么变

### Skip-gram

给该词，预测该词的上下文。多个老师告诉一个学生, Q矩阵怎么变

Word2vec词向量的处理对象是单词。它将单词转换为连续向量表示，可以用来表示单词之间的语义关联性。
以下是一个示例，展示了一些单词及其对应的Word2vec词向量：

"apple"：[0.5, 0.3, -0.2, 0.1]
"banana"：[0.2, 0.6, -0.3, 0.4]
"orange"：[0.4, 0.1, -0.5, 0.2]

这些向量表示了每个单词在向量空间中的位置，可以用来计算它们之间的相似性或进行其他语义相关的任务。
NNLM和Word2Vec的区别

NNNL --》 重点是预测下一词
Word2Vec--》 CBOW 和 Skip-gram 的两种架构的重点都是得到一个Q矩阵


![image.png](/static/img/d4994745212b302a1b4ac91e690da1ba.image.webp)


通过反向传播更新Q矩阵。softmax(w1 (xQ) +b1)

Word2vec词向量

<image src="/static/img/b74fd499df1a1d6316e3f84fc68e9d29.image.webp" height=300px width=100%>



<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>


 >最近笔者波波准备换新工作了。面试是不可或缺的一环，在此之前我更新了我的简历。
 
 简历指导来源于 `国企HR南希姐`、`网易技术官`、`阿里AI算法`、`AI产品经理`，以及我的`直属领导、同事`。谢谢你们。
 
 简历更新后也是很满意，因此想从不同角度谈谈自己的理解。
 
 ## HR
 一份简历从你投递出去，到你参加面试。经历了什么？
 
 首先第一个看到它的人是HR。而不是你的技术面试官。HR可能并不会很懂技术，但是他们懂筛选。他们会基于面试官/技术指导给出的`关键词`进行筛选。这是第一个关键点
 
- 尽量把信息浓缩成关键词
 
 不要让信息太冗长,不宜提取关键信息.
 
 再者HR第二个注意到的是你的教育背景,你的学校级别,你的在校表现GPA,你的必修课程等信息.基于此初步判断你是否合适该岗位的JD.
 
 - 展现教育背景详细信息
 
 其次HR还会关注你的居住地 薪资要求.是否可以长期实习等.
 你应该清楚的知道,你是去公司创造价值的,而不是单方面学习.所以公司跟更需要一个拿来就能用的人,而不是培养期长,工作时间短的人.那这一方面就需要你优化.
 
 - 居住地点最好填写你投递的位置
 
 这里有一个浅价值,你就在本地,而且离公司进.对这个城市适应.或许可以长期实习.
 会给HR很靠谱的感觉,也就是前置信任了.
 
 - 薪资范围调整到小区间
 
 让人知道你是真的认真找工作,有明确的薪资要求,而不是简单的碰运气海投.
 
 - 减少没有意义的内容.
 
 有目的的填写你的简历,而不是有什么写什么
 
 基于以上几点改简历,可以让你最大概率避免直接被pass掉.
 
 ## 面试官
 
 HR审核好后,会交给技术官/面试官进行审核.他的关注点又有所不同了.
 
 面试官会更加关注你的技术,也就是`实习经历`以及`项目经历`
 
 ### 实习经历
 

 
  怎么写呢? 按照我的方法,包含两个板块.
  
  你在实习期间做了什么,`主要负责`哪一块的工作,给出细节,不要给人一种好像什么都做了的感觉,要突出重点,让你的面试官能够了解到你的定位.
  
  其次`业绩`怎么样? 做出了什么产品?交付怎么样?

### 项目经历

这个模块我建议以`总-分-总`的形式写.

首先`介绍项目`,产品是什么? 有什么功能?解决了什么问题?有什么价值?

其次,具体介绍在这个项目中你是什么角色.你负责什么内容?做了哪方面的事情?主要负责xxx,这一步可以突出你的`项目细节`.运用什么技术,有什么发现,你从中有哪些研究.解决了什么?

让项目有真实性,有亮点,让人觉得你真的参与进去了,而不是浮在产品技术表面

最后,对项目进行`总结`.讲讲项目价值,业绩等等.最好是附上项目连接.`体验网址/GitHub链接`等

### 技术自评

- 使用过 xxx
- 基本掌握 xxx
- 了解 xxx
- 熟练 xxx

实习岗不要写什么 `精通`

内容方面同样突出`关键词`,可以到Boss 脉脉等平台看JD


## 细节

- 技术岗位最好不要放照片
- 看个人优势来整理排版

(如我的教育背景差,那我就把教育板块放后面,把项目经历,实习经历前置.

- 关键词可以加粗,变颜色

- 尽量把内容浓缩到一页纸

- 删除冗长 杂乱信息,无意义的内容,非该岗位相关技术不要多写.(不要什么都会,要专注于xxx)

- 项目经历\实习经历多从面试官角度想,怎么才能让人看得舒服,眼前一亮,和别人拉开距离.(人无我有,人有我精)

- 学会借势.是否内容可以关联到市面上的热门产品xxx

- 准备多份简历,应对不同地区
 

#### 如果你还不修改简历,可以找我寻求帮助,相信我拥有的资源与知识可以帮到你

## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.【一对一的一小时咨询服务】（49/次）

找一群人一起走，慢慢变富。期待和同频的朋友一起蜕变！

3.【简历指导修改】(149/人)

设计多次修改优化.发掘你的潜在价值与内容.

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

被大厂HR、技术官指点简历后，我悟了！

这里分享实用的项目经验、独到的面试技巧，以及对AI技术趋势的前瞻性思考，帮助你在AI领域找到自己的定位。一起探索，一起成长，一起破圈。