![image.png](/static/img/547ee48b583bb51affbf3b25a762bf23.image.webp)




<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>
很多内容发布在各个媒体平台都有限制，所以我决定自己建一个博客网站，分别记录自己的学习过程。此文记录我的部署过程。默认你有一定linux基础。

#  我只花了半小时，部署自己的`博客网站`

## 前置准备
- 一台服务器 （必要）
- 域名 （非必要）
- 备案 （非必要）

## 开始

### 项目地址

```
https://vanblog.mereith.com/
https://github.com/Mereithhh/vanblog
```
### 安装宝塔面板


```
wget -O install.sh https://download.bt.cn/install/install-ubuntu_6.0.sh && sudo bash install.sh
```
### 查看信息，打开宝塔面板

记得开放宝塔面板的防火墙端口
```
sudo bt 14
```

![image.png](/static/img/a40adb86c0aaddd6475e6c5bc7545019.image.webp)
急速安装一下基本件


![image.png](/static/img/0da3c3b51e20c551c31b382ed9a407e3.image.webp)
使用容器模板启动docker,以下是容器配置


![image.png](/static/img/64894bdf4fd762ba3be6647b26551747.image.webp)
```
version: '3'

services:
  vanblog:
    # 阿里云镜像源
    # image: registry.cn-beijing.aliyuncs.com/mereith/van-blog:latest
    image: mereith/van-blog:latest
    restart: always
    environment:
      TZ: 'Asia/Shanghai'
      # 邮箱地址，用于自动申请 https 证书
      EMAIL: 'someone@mereith.com'
    volumes:
      # 图床文件的存放地址，按需修改。
      - /var/vanblog/data/static:/app/static
      # 日志文件
      - /var/vanblog/log:/var/log
      # Caddy 配置存储
      - /var/vanblog/caddy/config:/root/.config/caddy
      # Caddy 证书存储
      - /var/vanblog/caddy/data:/root/.local/share/caddy
    ports:
      # 前面的是映射到宿主机的端口号，该端口的话改前面的。
      - 2004:80
      - 4443:443
  mongo:
    # 某些机器不支持 avx 会报错，所以默认用 v4 版本。有的话用最新的。
    image: mongo:4.4.16
    restart: always
    environment:
      TZ: 'Asia/Shanghai'
    volumes:
      - /var/vanblog/data/mongo:/data/db
```
使用该模板进行创建docker容器。记得开放防火墙端口。



### 打开网站，初始化

使用

`域名`+`端口` +`/admin/init`打开网站


![image.png](/static/img/2d0c523bdab93ca38dc1cca8c1210dbb.image.webp)
### 嘎嘎一顿配置，启动成功


![image.png](/static/img/0c504c4b45aaa01df568874234e957b0.image.webp)




### 后续

现在网页打开状态是:`ip+端口`
建议你购买域名，进行解析、备案。
配置ssl证书

## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.一对一的一小时咨询服务（49/次）

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！


![image.png](/static/img/357bfca5d3538fb92a9d7b30bb35e824.image.webp)

花半小时，部署自己的博客网站

![be0f3a58f2564b7e4d16e6c3ee08c46.jpg](/static/img/0531ef4a6526a59ef742e612a8f10acb.be0f3a58f2564b7e4d16e6c3ee08c46.webp)


<center>
  
> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

</center>
</center>

## 香港的旅程
这几天和我的好搭子“晗哥”去了一趟`香港`。尽管我们的长辈在香港，但整个旅程都是我俩独自安排，独自面对。


![9cd4c4306311bfbb8450a110bb2cd94.jpg](/static/img/f74f0dfba6d6ec1f0339e6b78791e42f.9cd4c4306311bfbb8450a110bb2cd94.webp)

整个过程感悟颇深，真真正正的亲身感受到了香港与内地的不同，发自内心的想说：`“走出去、见世面、交朋友是这辈子最值得做的事！”`


### 不同网络带来了信息差

从长沙到广州，再到深圳，最后到达终点-香港。

经过海关后，我们在国内的网络便失效了。好在我们提前准备了漫游电话卡与流量。但是由于是第一次，也是弄了很久才成功连接上网络。

不同于在内地，香港的网络可以访问外网，比如：Twier、Facebook、Google、reddit等等。尤其是我在AI程序员这个定位上，由于内地的GFW，我们常常需要借助工具，去访问外网，得到一些国外最前沿技术的信息资源。更别说大部分人都不知道这回事了

所以处于不同的网络环境，香港人所能接收到的信息更加的国际化。

### 英语真的很重要
到达香港之后，我们马上去找住处，旅馆叫做the cultural crashpad。是一个全英文的旅馆，这在香港很普遍。进去之后我发现全是别国的人，我遇到了第1个问题---交流，他们不懂普通话不懂粤语。完蛋。My English is poor。凭借着寥寥几个关键词、以及手语，我们也是得以入住了。

![image.png](/static/img/1360828d92776279efdcc64e90535789.image.webp)



晚饭我和晗哥出去左思右想选择了一家菲律宾炸鸡店Jillibee,不相互所料的，他们也都是讲英语。好吧，又掏出蹩脚的英语交流。

第二天我们还去了亚太美容展会，有来自不同地区的国家参加，韩国、日本、德国、法国、美国。借助这次展会推销产品，本来抱着了解咨询的想法去的，然而他们的交流语言全是英语 英语 英语！！！


![image.png](/static/img/a4b2c789ac023f52a4bc43960fe23e74.image.webp)

好吧我彻底老实了，越国际化的地方，英语越显得重要。又想到了长辈和我说过的“英语真的很重要！”。

仔细想想，有道理，只会中文，你或许可以简单在内地生活工作，但是会英语可以让你的活动范围扩大到全球啊。哪怕是在国内也是薪资翻倍，你可以拥有更多的机会与国外人交流，公司有项目也会派你去。况且如果到了国外工作，那劳动力价值可是比国内高了不止一点点。
### 人均收入和消费很高

在香港的消费真的真的很高。

我吃个自助餐300多人民币，吃一碗豚骨面268人民币，一个蛋仔约50人民币，一瓶水10人民币。平均月租12000（2室一厅）


![df4674bad2d37187e207af453318707.jpg](/static/img/416b69aa1a5ad181d56de56ba3917ca0.df4674bad2d37187e207af453318707.webp)

这个物价基本上是国内的好几倍！

但是花钱归花钱，人家赚得多啊。

我查到一个数据，北上广深人平均月收入5000左右，而香港到达了20000！！！反正我羡慕了。问了一位在香港多年的长辈，他说香港最底层的职业便是保安，很轻松，工资也是最低的差不多15000月薪，一般好一点的工作都能到3-10w不等。

貌似上次去的silk奶茶店前台也是2W月薪以上

呃呃呃。懵逼了。



### 香港是机会真的多


![be0f3a58f2564b7e4d16e6c3ee08c46.jpg](/static/img/0531ef4a6526a59ef742e612a8f10acb.be0f3a58f2564b7e4d16e6c3ee08c46.webp)

根据那位久居香港的长辈说的，香港实际上很缺人才，在政策上一直促进优才引进，待遇条件都开得很好。

但是条件也很苛刻，来香港工作必须要香港身份证/劳务签证。还要会英语喔！

有几条途径倒是可以试试：
- 来香港这边的大学做交换生
- 公司有分部在香港，派发过来
- 国内有几所985高校可以进
- 香港公司招聘到你，给你签劳务合同




## 走出去、开阔视野
香港的旅程，让我见到了更多的精彩。

还记得我的长辈给我说的“年轻人要立志，立大志”。当时我也不明所以，我也不知道自己有什么志 哈哈

但现在看来，只有见得多了，视野开阔了，才会有更多所思所想，你的心中才会有更多的想法，更加明晰自己想要什么，想得到什么。才会有志向。

## Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 99/年

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

2.【一对一的一小时咨询服务】（49/次）

找一群人一起走，慢慢变富。期待和同频的朋友一起蜕变！

3.【简历指导修改】(149/人)

设计多次修改优化.发掘你的潜在价值与内容.

![](https://files.mdnice.com/user/72399/e87a0e3f-d9d3-469a-8599-c2e2f7626075.jpg)

“走出去，见世面”是年轻人最值得做的事

![image.png](/static/img/057a56a0ed3a3a5de87fb31947e1f0ac.image.webp)



>BERT：深度双向转换器的预训练用于语言理解，由Google AI Language提出的BERT，发表于2019年NAACL，并超过31000次引用

BERT，即双向编码器变换（Bidirectional Encoder Representations from Transformers），通过在所有层次上联合条件地对未标记文本进行预训练，从而生成深度的双向表示。
这个预训练的BERT模型可以通过仅添加一个额外的输出层进行微调，创建出在各种任务上具有最先进性能的模型，如问答和语言推理，而无需进行大量的特定任务架构修改。
这是一种自监督学习，其中预设任务是语言模型学习，而具体任务则是通过微调进行的下游任务。


## 1. BERT: Bidirectional Encoder Representations from Transformers

### 1.1. BERT的训练步骤

BERT框架中有两个步骤：预训练和微调。
在pre-training期间，模型在未标记的数据上进行训练。
对于fine-tuning，BERT模型首先使用预训练的参数进行初始化，然后使用来自下游任务的标记数据进行微调。

### 1.2. BERT模型架构

![image.png](/static/img/80c7eebdb57a2380d5217e970ec5fb95.image.webp)
BERT使用了一个双向的Transformer。 OpenAI的GPT使用了一个由左到右的Transformer。ELMo则使用了独立训练的由左到右和由右到左的LSTM的串接。

BERT的模型架构是基于Transformer的多层双向编码器。实现方式与原始版本几乎相同。
层数（即Transformer块）的数量用L表示，hidden size用H表示，self-attention heads用A表示。

有两种模型大小可供评估：

BERTBASE（L=12，H=768，A=12，总参数=110M），与OpenAI的GPT具有相同的模型大小，用于比较目的。 

BERT的Transformer使用双向self-attention，而GPT的Transformer使用了限制的self-attention，其中每个token只能关注其左侧的内容。

BERTLARGE（L=24，H=1024，A=16，总参数=340M）。

### 1.3. Input Representation

![image.png](/static/img/e626f7801718efa40b2461704b98ec49.image.webp)
BERT input representation
为了使BERT能够处理各种下游任务，输入表示能够明确表示单个句子和一对句子（例如，<Question, Answer>）的序列。
使用具有30,000个令牌词汇的WordPiece嵌入（Wu et al.，2016）。
每个序列的第一个令牌始终是一个特殊的分类token（[CLS]）。
使用一个特殊的token（[SEP]）进行分隔。
对于给定的token，其输入表示是通过将相应的token、segment和position embeddings相加来构造的。如上图所示，这种构造的可视化。

## 2. BERT的预训练

### 2.1. Masked LM (MLM)

输入token的一部分会被随机遮罩，然后对这些屏蔽的token进行预测。

在每个序列中，随机屏蔽15％的WordPiece token。

只预测被屏蔽的词语，而不是重构整个输入。

如果选择了第i个token，则将第i个token替换为（1）有80%的机率将该token替换为[MASK] token（2）10%的机率替换为随机token（3）10%的机率保持不变。然后，Ti将用于使用cross entropy loss预测原始token。

### 2.2. Next Sentence Prediction (NSP)

下游任务，如问答（QA）和自然语言推理（NLI），是基于理解两个句子之间的关系，而这并不是语言建模直接捕捉的。首先进行了二元化的下一句预测任务的预训练，这可以从任何单语语料库轻松生成。
具体来说，在选择每个预训练示例的句子A和B时，有50%的机率B是实际跟在A后面的下一句（标记为IsNext），另外50%的机率B是来自语料库的随机句子（标记为NotNext）。

### 2.3. Pretraining Dataset

对于预训练语料库，使用了BooksCorpus（800M字）（Zhu et al., 2015）和English Wikipedia（2,500M字）。
对于维基百科，仅提取文本段落，忽略列表、表格和标题。

## 3. Fine-Tuning BERT

![image.png](/static/img/14d713623f4ee7aabc3ecf17091c8088.image.webp)
Illustrations of Fine-tuning BERT on Different Tasks
对于每个任务，任务特定的输入和输出只需插入到BERT中，并且所有参数都进行端到端的微调。

在输入端，预训练的句子A和句子B对应于（1）重述中的句子对，（2）蕴含中的假设-前提对（3）问答中的问题-段落对，以及（4）文本分类或序列标记中的退化文本-Ø对。
在输出端，token表示被喂入一个输出层，用于token级任务，例如序列标记或问答，而[CLS]表示则被喂入一个输出层，用于分类，例如蕴涵或情感分析。
相较于预训练，微调的成本相对较低。在一个单一的Cloud TPU上，所有论文中的结果最多只需1小时，或在GPU上几小时就能复制。

## 4. SOTA Comparison
### 4.1. GLUE

![image.png](/static/img/ca97e8f609365cb191c44b2b97746f8c.image.webp)
GLUE通过评估服务器进行测试的结果
在微调过程中，只引入了分类层的权重W，其中K是标签的数量。使用标准的分类损失函数C 和W，即log(softmax(CW^T))。
BERTBASE和BERTLARGE在所有任务上均大幅优于先前的顶尖系统，分别相对于先前的最新技术提高了4.5％和7.0％的平均准确率。

需要注意的是，BERTBASE和OpenAI的GPT在模型架构上几乎相同，除了attention masking。
对于最大且报告最广泛的GLUE任务MNLI而言，BERT在绝对准确率上提高了4.6％。根据GLUE的官方排行榜，BERTLARGE的得分为80.5，而OpenAI的GPT在撰写本文时的得分为72.8。

### 4.2. SQuAD 1.1.

![image.png](/static/img/fdf0d91b6fd50828ffdcc5c4ac9f68cb.image.webp)
SQuAD 1.1的结果。 BERT合奏是使用不同的预训练检查点和微调种子的7个系统
斯坦福问答数据集(SQuAD v1.1)是一个由10万个众包问题/答案对组成的集合。
输入的问题和段落被表示为一个单一的打包序列，其中问题使用A嵌入，段落使用B嵌入。
在微调过程中，只引入了开始向量S和结束向量E。
词i是答案范围开始的机率，计算方式是将Ti和S进行内积，然后对段落中的所有词进行softmax：

结束的答案范围也是类似的。
从位置i到位置j的候选范围的得分定义如下：

使用得分最高的范围j≥i，作为预测。
最佳的BERT在集成中比领先的系统提高了+1.5 F1，在单一系统中提高了+1.3 F1。事实上，单一BERT模型在F1分数方面超越了顶级集成系统。

### 4.3. SQuAD 2.0

SQuAD 2.0的结果
SQuAD 2.0任务扩展了SQuAD 1.1的问题定义，允许提供的段落中可能不存在简短答案，使问题更现实

相较于先前最佳系统，观察到了+5.1的F1改进。

### 4.4. SWAG

SWAG开发和测试的准确性(使用100个样本测量人类表现)
Situations With Adversarial Generations (SWAG)数据集包含11.3万个句子对完成示例，用于评估基于常识推理的推断。
给定一个句子，任务是在四个选择中选择最合理的继续。
在SWAG数据集上进行微调时，构造了四个输入序列，每个序列都包含给定句子（句子A）和可能的继续（句子B）的串联。
BERTLARGE比作者的baseline ESIM+ELMo系统提高了+27.1％，比OpenAI的GPT提高了8.3％。

## 5. Ablation Study
### 5.1. Effect of Pre-Training Tasks

使用BERTBASE架构的消融预训练任务
“No NSP”是在没有下一句预测任务的情况下进行的训练。
“LTR＆No NSP”被训练为一个从左到右的语言模型，没有下一句预测，就像OpenAI的GPT一样。
“+ BiLSTM”在微调期间在“LTR + No NSP”模型上添加了一个随机初始化的双向LSTM。
在QNLI，MNLI和SQuAD 1.1上，去除NSP会严重影响性能。
LTR模型在所有任务上的性能都比MLM模型差，MRPC和SQuAD的性能下降较大。
### 5.2. Effect of Model Size

来自5个随机重启的对GLUE进行微调的平均开发集准确性
更大的模型在所有四个数据集上都带来严格的准确度提升，即使对于MRPC，它只有3,600个标记的训练示例，并且与预训练任务差异很大。
这是第一个令人信服地证明，将模型扩展到极端大小也会在非常小规模的任务上实现显著的改进，前提是模型已经得到足够的预训练。
### 5.3. Feature-based Approach with BERT

CoNLL-2003命名实体识别结果
到目前为止，所有的BERT结果都使用了微调方法，即在预训练模型上添加了一个简单的分类层，并且在下游任务上联合微调所有参数。
然而，这里评估了基于特征的方法，即从预训练模型中提取固定特征，有两个原因：
首先，并非所有任务都可以通过Transformer编码器架构轻松表示。
其次，主要的计算优势可以被预先计算。
特征为基础的方法是通过从BERT的一个或多个层中提取激活，而不对BERT的任何参数进行微调来应用。
这些embeddings内容被用作分类层之前的一个随机初始化的双层768维双向LSTM的输入。
表现最佳的方法是将预训练Transformer的前四个隐藏层的token表示串接在一起，与微调整个模型相比仅差0.3的F1 Score。

这表明BERT对微调和基于特征的方法都是有效的。

Bert论文

![4321f6a6e2c548e28ad2e0d4b6ad9cd2.jpeg](/static/img/ba87e176137d458e296b4bf6bfd602bf.4321f6a6e2c548e28ad2e0d4b6ad9cd2.webp)



**论文参考：**

[GPT1—language_understanding_paper](https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf)

[GPT2—language_models_are_unsupervised_multitask_learners](https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf)

[GPT-3 Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)




**Generative Pre-trained Transformer（GPT）系列是由 OpenAI 提出的非常强大的预训练语言模型，这一系列的模型可以在非常复杂的 NLP 任务中取得非常惊艳的效果，例如文章生成，代码生成，机器翻译，问答等，而完成这些任务甚至 并不需要有监督学习进行模型微调** 。

本文梳理了 GPT 系列文章中介绍的的关键技术，包括：

- GPT-1 的解码器、微调、输入形式；
- GPT-2 的 Zero-shot 和 Prompt；
- GPT-3 的 Few-shot；
- Instruct GPT 如何通过基于人类反馈的强化学习生成有帮助的和安全的文本。








---


# GPT1:

**作者提出问题：**

1.用什么样的优化函数

2.怎么把模型迁移到所有子任务上

**预训练**

无监督学习

预测一个联合文本出现的概率，通过最大化这个概率来训练

![](https://pic2.zhimg.com/v2-3a91bdaf472bac1d7639d5edba606d33_r.jpg)

GPT-1 使用的是一个标准的语言模型，在训练时使用 Transformer 的 解码器 。在解码器中，会将一个词之后的文本进行掩码，因此解码器只能看到一个词之前的文本，不能看到之后的文本。

![](https://pica.zhimg.com/v2-bc399cef11639000a3bea7dafc6bf97a_r.jpg)

![](https://pic3.zhimg.com/v2-c7ec497ff48077ee82a8b8cfe9882c16_r.jpg)

训练 GPT 时，模型只能看到前文来预测后文，而 BERT 可以看到上下文来预测中间部分。GPT 得到的输入信息更少，这就导致训练 GPT 比训练 BERT 难很多。

**微调：**

第一个目标函数是在预测下一个词，给定一个序列，预测下一个词：

![](https://pic4.zhimg.com/v2-ec28e4e9e6b0a6adffe4c36364e9c471_r.jpg)

第二个目标函数是在做多分类任务，给定所有序列，预测它的标签：

![](https://pica.zhimg.com/v2-c9fe816118df739eef5659ff283e42fe_r.jpg)

文章中作者提到，把这两个目标函数结合一起训练，效果会更好，可以提高模型的泛化性，最终优化成的函数：

![](https://pic3.zhimg.com/v2-2652b3757c77d8e2af672b4433c9dbc8_r.jpg)

**构造不同输入来适应下游子任务：**

作者在最开始有提到怎么去把模型迁移到不同的子任务的问题，也是此文的一个买点

此处就有解释，就是说把输入通过加入一些字符，比如<start><premise><extract>等，去及微调，这样在预测时，模型就可以分辨出，这是属于哪类任务范畴，比如图片中的相似度，多分类等。

![](https://pic4.zhimg.com/v2-d9823af5feb59f26d53564af42261a79_r.jpg)

至此GPT1大部分重点已经讲完了，详细可以看哔哩哔哩李沐老师的视频。





---


**GPT2**

**GPT1，Bert模型存在两个个问题：**

- 对每一个下游任务需要重新训练
- 收集有标号的数据

**zero-shot:**

相较于GPT1，GPT2的参数量增加，且提出了zero-shot,可以简单理解为使用大量数据集，提高模型泛化性，以适应下游任务。

zero-shot: 在做到下游任务的时候，不需要下游任务的任何标注信息，那么也不需要去重新训练已经预训练好的模型。这样子的好处是我只要训练好一个模型，在任何地方都可以用。











---


**GPT3**

**下游任务：**

相较于GPT-2，GPT-3在下游方面又有了一些改进，它利用少量样本去学习，也就是 Few-shot。

**few-shot:**

**指在下游任务中给出少量样本让模型学习，但不进行模型参数的更新**

因为GPT-3模型参数量太大，重新训练困难

例如：把英文翻译成中文

few-shot: hello  —>  你好

你可以简单地理解为**”举一反三“**或者 **prompt 提示**。在输入问题时，告诉它一些例子。具体信息可以看下面的图片。

![](https://pic1.zhimg.com/v2-307ba576ae3e4777fc16d4ab01017c5e_r.jpg)

实验结果如下：

可见Few Shot 的效果还是很可观的

![](https://pic4.zhimg.com/v2-90110216d6d78ceea543a312920d5ab3_r.jpg)

**数据处理：**

由于GPT3的数据量需要很大来提高泛化性。

但是有些数据质量不佳，有很大噪音，影响模型性能。

**所以作者使用一些低质量数据和高质量数据训练了一个模型，最后使用它来区分高质量数据**

**使用lsh算法，来区分相似度高的数据 **

GPT 1 ,2 ,3 论文

![image.png](/static/img/b04bb1e8d87efd8eb7a058854cf42fc4.image.webp)

## 背景：
### one-hot编码有大量缺点
高维稀疏表示：One-hot编码将每个词表示为一个高维稀疏向量，向量的维度等于词汇表的大小。对于大规模的词汇表，会导致非常高维的表示，造成存储和计算的开销增加。

无法捕捉词之间的语义关系：One-hot编码中，每个词的向量是独立的，没有考虑词之间的语义关系。因此，无法直接通过向量计算来衡量词之间的相似度或语义距离。

维度灾难：随着词汇表的增大，One-hot编码的维度也会增加，这可能导致维度灾难问题。高维度的表示会增加模型的复杂度和计算开销，并且在有限的数据情况下容易过拟合。

无法处理未见过的词：One-hot编码的词汇表是固定的，如果遇到未见过的词，无法进行有效的表示。这在现实世界的文本数据中很常见，特别是在处理新闻、社交媒体等动态数据时。

## Word2vec介绍：
Word2vec是一类神经网络模型

类型分为CBOW与Skip-gram


![image.png](/static/img/b04bb1e8d87efd8eb7a058854cf42fc4.image.webp)

### CBOW
给定词的上下文，预测该词。一个老师告诉多个学生，Q矩阵怎么变

### Skip-gram

给该词，预测该词的上下文。多个老师告诉一个学生, Q矩阵怎么变

Word2vec词向量的处理对象是单词。它将单词转换为连续向量表示，可以用来表示单词之间的语义关联性。
以下是一个示例，展示了一些单词及其对应的Word2vec词向量：

"apple"：[0.5, 0.3, -0.2, 0.1]
"banana"：[0.2, 0.6, -0.3, 0.4]
"orange"：[0.4, 0.1, -0.5, 0.2]

这些向量表示了每个单词在向量空间中的位置，可以用来计算它们之间的相似性或进行其他语义相关的任务。
NNLM和Word2Vec的区别

NNNL --》 重点是预测下一词
Word2Vec--》 CBOW 和 Skip-gram 的两种架构的重点都是得到一个Q矩阵


![image.png](/static/img/d4994745212b302a1b4ac91e690da1ba.image.webp)


通过反向传播更新Q矩阵。softmax(w1 (xQ) +b1)

Word2vec词向量

这里分享实用的项目经验、独到的面试技巧，以及对AI技术趋势的前瞻性思考，帮助你在AI领域找到自己的定位。一起探索，一起成长，一起破圈。