神经网络中的单元是什么(反向传播算法)

请帮助我理解神经网络中的单元概念。根据书中所述,输入层中的一个单元代表训练元组的一个属性。然而,具体它是如何代表的并未详细说明。

这是相关的图表:enter image description here

关于输入单元有两种“思考路径”。第一种可能是X1代表attr1X2代表attr2…另一种可能是X1X2X3都代表attr1,但X1代表Value.VALUE_ONE,…,X3代表Value.VALUE_THREE。因此,在最少的情况下,如果attr1 = Value.VALUE_TWO,它将被加权并同时馈送到第二层。

public class Tuple{  private Value attr1  private Value attr2  private Value attr3}public enum Value{  VALUE_ONE,  VALUE_TWO,  VALUE_THREE}

第二个问题是关于隐藏层单元的。如何决定隐藏层中应该有多少单元,以及它们在模型中代表什么?


回答:

“单元”只是浮点值。

所有在这里发生的计算都是向量乘法,因此可以使用矩阵乘法和GPU硬件很好地并行化。

一般的计算看起来像这样:

double v phi(double[] x, double[] w, double theta) {  double sum = theta;  for(int i = 0; i < x.length; i++)    sum += x[i] * w[i];  return tanh(sum);}

但你不希望自己在Java代码中这样做。你希望在GPU上以并行方式进行,因为这将快100倍。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注