如何为二元分类设置神经网络架构

我在阅读TensorFlow关于神经网络的教程时,遇到了关于架构的部分,感觉有点 confusing。能否有人解释一下为什么在代码中使用了以下设置

# 输入形状是用于电影评论的词汇计数 
(10,000 words)vocab_size = 10000model = keras.Sequential()model.add(keras.layers.Embedding(vocab_size, 16))model.add(keras.layers.GlobalAveragePooling1D())model.add(keras.layers.Dense(16, activation=tf.nn.relu))model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid))model.summary()

词汇大小?Embedding层中为什么使用16这个值?以及单元数的选择,我理解最后一个Dense层的直觉,因为它是二元分类(1),但为什么第二层使用16个单元?Embedding中的16和第一个Dense层中的16个单元是否相关?它们应该相等吗?

如果有人能解释这段话就更好了

第一层是一个Embedding层。这层接收整数编码的词汇,并查找每个词索引的嵌入向量。这些向量在模型训练过程中学习。向量为输出数组增加了一个维度。结果维度为:(batch, sequence, embedding)。

来源: 电影评论分类:二元分类


回答:

  • vocab_size:您语料库中(在本例中为IMDB)的所有单词,根据它们的频率排序,并提取前10000个单词。其余词汇将被忽略。例如:这真是Fancyyyyyyy将转换为==> [8 7 9]。正如您可能猜到的,单词Fancyyyyyyy被忽略,因为它不在前10000个单词中。
  • pad_sequences:将所有句子转换为相同大小。例如,在训练语料库中,文档长度不同。因此,所有文档都转换为seq_len = 256。完成这一步后,您的输出是[Batch_size * seq_len]
  • Embedding:每个单词转换为一个16维的向量。结果这一步的输出是一个大小为[Batch_size * seq_len * embedding_dim]的张量。
  • GlobalAveragePooling1D:将大小为[Batch_size * seq_len * embedding_dim]的序列转换为[Batch_size * embedding_dim]
  • unit:是Dense层(MLP层)的输出。它将[Batch_size * embedding_dim]转换为[Batch_size * unit]

Related Posts

在使用k近邻算法时,有没有办法获取被使用的“邻居”?

我想找到一种方法来确定在我的knn算法中实际使用了哪些…

Theano在Google Colab上无法启用GPU支持

我在尝试使用Theano库训练一个模型。由于我的电脑内…

准确性评分似乎有误

这里是代码: from sklearn.metrics…

Keras Functional API: “错误检查输入时:期望input_1具有4个维度,但得到形状为(X, Y)的数组”

我在尝试使用Keras的fit_generator来训…

如何使用sklearn.datasets.make_classification在指定范围内生成合成数据?

我想为分类问题创建合成数据。我使用了sklearn.d…

如何处理预测时不在训练集中的标签

已关闭。 此问题与编程或软件开发无关。目前不接受回答。…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注