使用TensorFlow预处理神经网络中多个实例对应单一标签的数据

我正在训练一个神经网络,用于根据帖子数量、帖子类别(视频、链接、状态等)以及每个帖子的分享、点赞和评论数量,来预测Facebook页面的粉丝增长。每个标签对应多个实例,因为标签(粉丝增长)是按天计算的,而不是按每个帖子计算的:enter image description here

如果我对分类数据使用独热编码:enter image description here

这里的日期、星期、链接、视频、状态、反应、评论和分享都是特征,而粉丝增长是标签。我如何使用单一标签对应多个实例?因为在前三个实例中重复使用’100’是不正确的。


回答:

如果我理解正确的话,基本上你有一天内可能发生的可变数量的事件(发布视频、链接或状态,每种可能为零次或多次),并且对于这些事件,你有相关的反应、评论和分享。然后你想根据一天内采取的这些可变数量的行动来预测每天的粉丝增长。如果我理解错了,请纠正我。

你可以做的是训练一个对可变长度序列数据进行处理的循环神经网络。你可以将输入数据结构化为:

x_ij = [category, reactions, comments, shares]_i for day ji = 1, 2, ..., n_j (number of posts in day "j")j = 1, 2, ..., N (number of days in dataset)

你可以将每个x_ij视为j天中的一个时间步。然后单天完整的输入序列看起来像这样:

X_j = [x_1j, x_2j, ..., x_nj]

你的输出向量将是Y = [y_1, y_2, ..., y_N],其中每个y_jj天的粉丝增长。基本上,训练过程涉及使用tf.nn.dynamic_rnn设置你的循环神经网络,并使用sequence_length来指定每个输入序列的长度。看起来会像这样(这里我会跳过很多实现细节):

cell = tf.contrib.rnn.GRUCell(num_hidden)# Any additional things like tf.contrib.rnn.DropoutWrapper you want herecell = tf.contrib.rnn.OutputProjectionWrapper(cell, 1)  # only one output number, right?output, _ = tf.nn.dynamic_rnn(cell, data, sequence_length=sequence_length)

请注意,我在这里使用了GRU单元TensorFlow文档)而不是LSTMTensorFlow文档)。这部分是个人偏好,但基本上GRU可以做LSTM能做的一切,但效率更高。然后你将运行你的训练过程,传递大小为[batch_size, num_steps_per_day, num_features]的数据批次,以及大小为[batch_size, 1]sequence_length张量,该张量给出每天的步骤数。看起来像这样:

with tf.Session() as sess:  for epoch in range(num_epochs):    shuffle_training_set()    for batch in range(num_batches):      d = get_next_batch()      t = get_next_target_batch()      s = # length of each data sample in your batch      sess.run(optimize, feed_dict={data: d, targets: t, sequence_length: s})      # periodically validate and stop when you stop improving

这里,optimize可能定义为类似于:

cost = # your cost function here...optimizer = tf.train.AdamOptimizer()  # I usually have luck with this optimizeroptimize = optimizer.minimize(cost)

查看这个优秀的示例(不是我的内容)以开始了解一些实现细节。这个示例展示了序列标记,但修改它以预测粉丝增长应该相当简单。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注