神经网络输出始终为1

我正在开发一个神经网络应用程序,但在尝试打印前馈输出的过程中遇到了问题:控制台显示的值如下:

输出始终是1 1 1 1 1

我使用了3层结构,包括2500个输入节点,1800个隐藏节点和5个输出节点。我使用了sigmoid二进制作为激活函数,测试时的权重固定为0.5。

当我尝试使用一个非常简单的架构(2个输入,3个隐藏,1个输出)时,它运行得很完美,但现在有这么多节点,我无法手动计算输出,所以我不知道结果是真是假。

是我的代码有问题,还是我不能设置固定权重?我只想进行一次前馈,不进行反向传播,输入是从0到1的随机值。

这是network.cpp文件的内容:

#include <stdio.h>#include <iostream>#include "network.h"#include "neuron.h"using namespace std;layer::layer(int numberOfNeuron,int numberOfInput,int numberOfOutput):neuron_layer(numberOfNeuron){    for(int i=0;i<numberOfNeuron;i++)    {        neuron_layer[i] = new neuron(numberOfInput,numberOfOutput);    }}layer::~layer(){}int layer::get_number_of_neuron(){    return neuron_layer.size();}network::network(int layerNumber,int hiddenNeuronNumber):    layer_network(layerNumber){    this->layer_numbers = layerNumber;    for(int i=0;i<layerNumber;i++)    {        if(i==0)        {            layer_network[i] = new layer(2500,5,hiddenNeuronNumber);        }        else if(i==1)        {            layer_network[i] = new layer(hiddenNeuronNumber,2500,5);        }        else if(i==2)        {            layer_network[i] = new layer(5,hiddenNeuronNumber,1);        }    }    cout<<endl<<"Input layer : "<<layer_network[0]->get_number_of_neuron()<<endl;    cout<<"Hidden layer : "<<layer_network[1]->get_number_of_neuron()<<endl;    cout<<"Output layer : "<<layer_network[2]->get_number_of_neuron()<<endl;}network::~network(){}void network::init_input_layer(int inputNeuronNumber,int hiddenNeuronNumber){    for(int i=0;i<inputNeuronNumber;i++)    {        for(int j=0;j<hiddenNeuronNumber;j++)        {            layer_network[0]->neuron_layer[i]->outputs[j]->weights = 0.5f;        }    }}void network::init_hidden_layer(int inputNeuronNumber,int hiddenNeuronNumber,int outputNeuronNumber){    for(int i=0;i<hiddenNeuronNumber;i++)    {        for(int j=0;j<inputNeuronNumber;j++)        {            layer_network[1]->neuron_layer[i]->inputs[j]->weights = layer_network[0]->neuron_layer[j]->outputs[i]->weights;        }    }    for(int k=0;k<hiddenNeuronNumber;k++)    {        for(int l=0;l<outputNeuronNumber;l++)        {            layer_network[1]->neuron_layer[k]->outputs[l]->weights = 0.5f;        }    }}void network::init_ouput_layer(int hiddenNeuronNumber,int outputNeuronNumber){    for(int i=0;i<outputNeuronNumber;i++)    {        for(int j=0;j<hiddenNeuronNumber;j++)        {            layer_network[2]->neuron_layer[i]->inputs[j]->weights = layer_network[1]->neuron_layer[j]->inputs[i]->weights;        }    }}

这是neuron.cpp文件的内容:

#include "neuron.h"#include <stdio.h>#include <iostream>using namespace std;synapse::synapse(){}synapse::~synapse(){}neuron::neuron(int numberOfInput,int numberOfOutput):inputs(numberOfInput),outputs(numberOfOutput){    for(int i=0;i<numberOfInput;i++)    {        inputs[i] = new synapse();    }    for(int i=0;i<numberOfOutput;i++)    {        outputs[i] = new synapse();    }}neuron::~neuron(){}int neuron::get_input_size(){    int input_length;    input_length=(int) inputs.size();    return input_length;}int neuron::get_output_size(){    int output_length;    output_length=(int) outputs.size();    return output_length;}void neuron::input_fire(){    output_value = inputs[0]->activation_values;    for(int i=0;i<get_output_size();i++)    {        outputs[i]->activation_values = output_value;    }}void neuron::fire(){    output_value = 0.0f;    for(int i=0;i<get_input_size();i++)    {        output_value+=(inputs[i]->activation_values)*(inputs[i]->weights);    }    //cout<<endl<<"Before Sigmoid"<<output_value;    output_value = 1.0f / (1.0f+ exp(-output_value));    //cout<<" After Sigmoid"<<output_value;    for(int i=0;i<get_output_size();i++)    {        outputs[i]->activation_values = output_value;    }}

我认为没有必要发布neuron.h和network.h,因为它们只包含声明。我在.cpp文件中定义了函数。这是创建对象的方式:

srand (time(NULL));float inputTest[2500];network test(3,1800);test.init_network(1800);for(int i=0;i<2500;i++){    inputTest[i]=(float)rand()/(float)RAND_MAX;}test.feedforward(inputTest);

回答:

我没有检查你的代码,但是…不,你不能像那样使用固定权重。随着输入数量的增加,你的隐藏层中的每个节点将获得越来越大的值。Sigmoid会将这些大值缩放到1。

想想看:假设你有100个输入,每个输入的“随机”值为0.1。为了简单起见,我们先忽略其他一切。由于你的权重是恒定的0.5,隐藏层中的所有节点将获得一个相同的值,这个值是由每个输入*权重的“sigmoid化”总和构成的,即sigm(0.1*0.5*100) = sigm(5) -> ~1

因此,当你有更多的正输入和恒定的正权重时,隐藏层的输出将越来越接近1。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注