我正在尝试构建一个作为生成模型的神经网络，用于预测一系列向量之后的下一个向量（每个向量是一个长度为n的实数分布）。

我的想法是取前k个序列并将它们连接起来，形成一个kxn的输入向量。为了训练模型，我会将序列中的下一个向量作为输出。由于我希望得到非确定性输出，我打算使用具有低梯度的Sigmoid激活函数。

这个过程看起来合理吗？

希望是合理的，我尝试在R中使用nnet和neuralnet库来实现它，但在查阅的文档和示例中，似乎输入和输出向量必须长度相同。在这些模块中，如何训练不同长度的输入/输出向量的语法是什么？

我的输入向量样本是：

      [,1]       [1,] 0          [2,] 0          [3,] 0.6        [4,] 0.4        [5,] 0          [6,] 0          [7,] 0.06666667 [8,] 0.6666667  [9,] 0         [10,] 0.2666667 [11,] 0         [12,] 0.4       [13,] 0         [14,] 0         [15,] 0.6       

输出向量是：

      [,1]     [1,] 0          [2,] 0          [3,] 0.8571429  [4,] 0          [5,] 0.1428571 

注意：上述样本中n=5，k=3，尽管我的实际数据集n~200。在两种情况下，单个向量都归一化为1。

任何帮助都非常感激！

回答：

总的来说，这是一个非常简单和幼稚的方法，通常不会产生好的结果。你试图从一组时间序列进行回归到时间序列，将所有东西视为简单的属性和简单的模型。关于时间序列预测、表示时间依赖性等方面已经有成千上万的论文/研究。你面临的是一种困难的预测问题，找到好的解决方案需要大量的工作，提出的模型几乎没有成功的可能性。

从你的文字中我推断，你实际上有一系列的时间序列，对于“时间窗口”[t-k,t-k+1,..,t-1]，你想预测t时刻的值（时间序列）。如果这是真的，那么这实际上是时间序列预测问题，其中每个属性本身就是一个时间序列，可以在这里使用所有与时间序列相关的技术，例如循环神经网络（如果你真的喜欢神经网络）或条件RBM（如果你真的想要一个非确定性、生成模型 – 因为它们近年来在时间序列预测中取得了成功）。

现在有几个其他疑问：

由于我希望得到非确定性输出，我打算使用Sigmoid激活函数

Sigmoid激活函数不是非确定性的。如果你寻找非确定性模型，你应该考虑一些像RBM这样的架构，但正如@***在评论中提到的，传统的神经网络也可以通过一些简单的修改以概率方式使用。

具有低梯度。

你所说的低梯度是什么意思？你的激活函数有一个小的斜率吗？这将导致在使用简单训练程序（如BP算法）时学习出现问题。

[DATA]

你的数据看起来像是你将每个时间序列归一化，使其总和为1，这在神经网络中的数据归一化方法中并不常见（你通常是按列归一化数据，使每个维度都归一化，而不是每个样本）。

标题

你的问题和模型并不是“顺序的”，也不包括“不同长度的向量”，寻找关于这种现象的论文不会让你找到问题的答案。