如何为二元分类设置神经网络架构

我在阅读TensorFlow关于神经网络的教程时,遇到了关于架构的部分,感觉有点 confusing。能否有人解释一下为什么在代码中使用了以下设置

# 输入形状是用于电影评论的词汇计数 
(10,000 words)vocab_size = 10000model = keras.Sequential()model.add(keras.layers.Embedding(vocab_size, 16))model.add(keras.layers.GlobalAveragePooling1D())model.add(keras.layers.Dense(16, activation=tf.nn.relu))model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid))model.summary()

词汇大小?Embedding层中为什么使用16这个值?以及单元数的选择,我理解最后一个Dense层的直觉,因为它是二元分类(1),但为什么第二层使用16个单元?Embedding中的16和第一个Dense层中的16个单元是否相关?它们应该相等吗?

如果有人能解释这段话就更好了

第一层是一个Embedding层。这层接收整数编码的词汇,并查找每个词索引的嵌入向量。这些向量在模型训练过程中学习。向量为输出数组增加了一个维度。结果维度为:(batch, sequence, embedding)。

来源: 电影评论分类:二元分类


回答:

  • vocab_size:您语料库中(在本例中为IMDB)的所有单词,根据它们的频率排序,并提取前10000个单词。其余词汇将被忽略。例如:这真是Fancyyyyyyy将转换为==> [8 7 9]。正如您可能猜到的,单词Fancyyyyyyy被忽略,因为它不在前10000个单词中。
  • pad_sequences:将所有句子转换为相同大小。例如,在训练语料库中,文档长度不同。因此,所有文档都转换为seq_len = 256。完成这一步后,您的输出是[Batch_size * seq_len]
  • Embedding:每个单词转换为一个16维的向量。结果这一步的输出是一个大小为[Batch_size * seq_len * embedding_dim]的张量。
  • GlobalAveragePooling1D:将大小为[Batch_size * seq_len * embedding_dim]的序列转换为[Batch_size * embedding_dim]
  • unit:是Dense层(MLP层)的输出。它将[Batch_size * embedding_dim]转换为[Batch_size * unit]

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注