如何为二元分类设置神经网络架构

我在阅读TensorFlow关于神经网络的教程时,遇到了关于架构的部分,感觉有点 confusing。能否有人解释一下为什么在代码中使用了以下设置

# 输入形状是用于电影评论的词汇计数 
(10,000 words)vocab_size = 10000model = keras.Sequential()model.add(keras.layers.Embedding(vocab_size, 16))model.add(keras.layers.GlobalAveragePooling1D())model.add(keras.layers.Dense(16, activation=tf.nn.relu))model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid))model.summary()

词汇大小?Embedding层中为什么使用16这个值?以及单元数的选择,我理解最后一个Dense层的直觉,因为它是二元分类(1),但为什么第二层使用16个单元?Embedding中的16和第一个Dense层中的16个单元是否相关?它们应该相等吗?

如果有人能解释这段话就更好了

第一层是一个Embedding层。这层接收整数编码的词汇,并查找每个词索引的嵌入向量。这些向量在模型训练过程中学习。向量为输出数组增加了一个维度。结果维度为:(batch, sequence, embedding)。

来源: 电影评论分类:二元分类


回答:

  • vocab_size:您语料库中(在本例中为IMDB)的所有单词,根据它们的频率排序,并提取前10000个单词。其余词汇将被忽略。例如:这真是Fancyyyyyyy将转换为==> [8 7 9]。正如您可能猜到的,单词Fancyyyyyyy被忽略,因为它不在前10000个单词中。
  • pad_sequences:将所有句子转换为相同大小。例如,在训练语料库中,文档长度不同。因此,所有文档都转换为seq_len = 256。完成这一步后,您的输出是[Batch_size * seq_len]
  • Embedding:每个单词转换为一个16维的向量。结果这一步的输出是一个大小为[Batch_size * seq_len * embedding_dim]的张量。
  • GlobalAveragePooling1D:将大小为[Batch_size * seq_len * embedding_dim]的序列转换为[Batch_size * embedding_dim]
  • unit:是Dense层(MLP层)的输出。它将[Batch_size * embedding_dim]转换为[Batch_size * unit]

Related Posts

### 使用管道进行岭回归的网格搜索

我正在尝试优化岭回归的超参数,同时还添加多项式特征。因…

对tf.nn.dynamic_rnn()中”outputs”和”state”的概念理解

背景 我正在阅读《Hands on ML》第二部分,希…

如何计算SelectKBest(chi2)的得分?

我正在尝试通过对我的数据集应用特征选择方法来找出最有价…

外部链接 – 平局时的处理方法

为了学习目的,我正在考虑从头开始实现一个完全链接聚类算…

将非监督学习模型传递给cross_val_score

当我们将没有predict方法的对象传递给cross_…

如何根据不同用途定制AlexNet

过去一周我一直在学习机器学习,并且我一直在尝试使用12…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注