🔥码云GVP开源项目 12k star Uniapp+ElementUI 功能强大 支持多语言、二开方便! 广告
**利用`Embedding`层学习词嵌入:** 对每个新任务都**学习**一个新的嵌入空间 **学习一个层的权重,这个层就是`Embedding`层**: * `Embedding`层实际上是一种字典查找 * 理解为一个字典,将整数索引(表示特定单词)映射为密集向量 ![](https://img.kancloud.cn/38/fd/38fd2e4448714a7562495c7453644217_1000x40.png) ***** **输入**:二维整数张量,其形状为`(samples, sequence_length)` * 每个元素是一个整数序列。它能够嵌入长度可变的序列 * 一批数据中的所有序列必须具有相同的长度(因为需要将它们打包成一个张量),所以较短的序列应该用 0 填充,较长的序列应该被截断 **返回**:形状为`(samples, sequence_length, embedding_dimensionality)`的三维浮点数张量 * 然后可以用 RNN 层或一维卷积层来处理这个三维张量 ***** **实例化**: * 训练开始:权重(即标记向量的内部字典)是随机的 * 训练过程中:利用反向传播来逐渐调节这些词向量,改变空间结构以便下游模型可以利用 * 训练完成:嵌入空间将会展示大量结构,这种结构专门针对训练模型所要解决的问题