我在阅读TensorFlow关于神经网络的教程时,遇到了关于架构的部分,感觉有点 confusing。能否有人解释一下为什么在代码中使用了以下设置
# 输入形状是用于电影评论的词汇计数
(10,000 words)vocab_size = 10000model = keras.Sequential()model.add(keras.layers.Embedding(vocab_size, 16))model.add(keras.layers.GlobalAveragePooling1D())model.add(keras.layers.Dense(16, activation=tf.nn.relu))model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid))model.summary()
词汇大小?Embedding层中为什么使用16这个值?以及单元数的选择,我理解最后一个Dense层的直觉,因为它是二元分类(1),但为什么第二层使用16个单元?Embedding中的16和第一个Dense层中的16个单元是否相关?它们应该相等吗?
如果有人能解释这段话就更好了
第一层是一个Embedding层。这层接收整数编码的词汇,并查找每个词索引的嵌入向量。这些向量在模型训练过程中学习。向量为输出数组增加了一个维度。结果维度为:(batch, sequence, embedding)。
来源: 电影评论分类:二元分类
回答:
- vocab_size:您语料库中(在本例中为IMDB)的所有单词,根据它们的频率排序,并提取前10000个单词。其余词汇将被忽略。例如:这真是Fancyyyyyyy将转换为==> [8 7 9]。正如您可能猜到的,单词Fancyyyyyyy被忽略,因为它不在前10000个单词中。
- pad_sequences:将所有句子转换为相同大小。例如,在训练语料库中,文档长度不同。因此,所有文档都转换为seq_len = 256。完成这一步后,您的输出是
[Batch_size * seq_len]
。 - Embedding:每个单词转换为一个16维的向量。结果这一步的输出是一个大小为
[Batch_size * seq_len * embedding_dim]
的张量。 - GlobalAveragePooling1D:将大小为
[Batch_size * seq_len * embedding_dim]
的序列转换为[Batch_size * embedding_dim]
。 - unit:是Dense层(MLP层)的输出。它将
[Batch_size * embedding_dim]
转换为[Batch_size * unit]
。