我是机器学习的新手，正在寻求一些帮助。我想训练一个网络来预测我期望的下一个值，如下所示：

参考：[val1 val2 … val 15]

如果值不存在，则val为0；如果存在，则val为1。

输入：[1 1 1 0 0 0 0 0 1 1 1 0 0 0 0]

输出：[1 1 1 0 0 0 0 0 1 1 1 0 0 1 1]（最后两个值出现）

所以我的神经网络将有15个输入和15个输出

我想知道是否有更好的方法来进行这种预测。我的数据是否也需要归一化处理？

现在的问题是，我没有15个值，而是有600,000个值。神经网络能处理这么大的张量吗？我听说隐藏层单元的数量需要是输入的两倍。

非常感谢您的帮助，您是机器学习专家！

祝好

回答：

这对于神经网络的概念来说不是问题：问题在于您的计算配置和框架实现是否能提供所需的内存。由于您没有描述您的拓扑结构，我们无法帮助您详细规划。您有多少参数和权重？每个都至少是一个短浮点数（4字节）。例如，一个直接的全连接（FC）层将为您提供（6e5）^2个权重，即3.6e11 * 4字节 => 1.44e12字节。是的，这对于该层的权重来说接近1.5TB。

您可以通过选择的神经网络类型来解决这个问题。例如，将数据分成不同的通道（比如，60个通道，每个通道1000个特征）可以显著节省内存，尽管这会以训练速度（更多层）和可能的准确性（尽管交叉可以解决很多问题）为代价。卷积也可以总体上节省内存，同样是以训练速度为代价。

600K => 4 => 600K

这个澄清解决了我主要的担忧：您在两个地方各有600,000 * 4个权重：总共1,200,004个参数和4.8M个权重。这总共是6M个浮点数，不会给任何现代通用计算机的RAM带来压力。

通道化方法是在您试图在层之间建立更宽的连接时使用的，比如600K => 600K的全连接。在这种情况下，您将数据分成较小的组（通常只有2-12个），并创建一组并行的全连接流。例如，您可以将输入分成10个流，每个流都是60K => 60K的全连接。在下一层，您交换组织，将每组60K“分发”到下一通道的1/10中。

这样，您只有10 * 60K * 60K个权重，只有之前的10%…但现在有3层。尽管如此，这在权重所需的内存上节省了5倍，这是组合爆炸发生的地方。