一句话归纳:
1)CBOW模型:
- 2c个向量是相加,而不是拼接。
2)CBOW模型中的哈夫曼树:
- 从root开始,向左为1,向右为0。
- 叶子结点对应词有中的一个词。
- 每个词对应唯一的编码。
- 词编码不等长。
3)CBOW模型输出为到达哈夫曼树每一个非叶子结点时向右走的概率。
- 计算每个叶子结点的概率,以图为例W2的概率为
- 取对数取反,作损失函数
一句话归纳:
1)CBOW模型:
2)CBOW模型中的哈夫曼树:
3)CBOW模型输出为到达哈夫曼树每一个非叶子结点时向右走的概率。