Python神经网络中的[Nan]输出

我是新手。刚刚从JS转到Python来构建神经网络,但得到的输出是[Nan]。

奇怪的是我的Sigmoid函数似乎没有遇到任何溢出,但其导数却引起了混乱。

import numpy as npdef sigmoid(x):  return x*(1-x)  return 1/(1 + np.exp(-x))#The function- 2def Sigmoid_Derivative(x):    return x * (1-x)Training_inputs = np.array([[0,0,1],                             [1,1,1],                             [1,0,1],                             [0,1,1]])Training_outputs = np.array([[0, 1, 1, 0]]).Tnp.random.seed(1)synaptic_weights = np.random.random((3, 1)) - 1print ("Random starting synaptic weight:")print (synaptic_weights)for iteration in range(20000):  Input_Layer = Training_inputs  Outputs = sigmoid(np.dot(Input_Layer, synaptic_weights))   erorr = Training_outputs - Outputs  adjustments = erorr * Sigmoid_Derivative(Outputs)  synaptic_weights += np.dot(Input_Layer.T, adjustments)# The print declaration----------  print ("Synaptic weights after trainig:")print (synaptic_weights)print ("Outputs after training: ")print (Outputs)

这是错误消息。我不知道为什么会溢出,因为权重看起来足够小。顺便说一下,请用简单的Python给出解决方案,因为我是新手 :–

Random starting synaptic weight:[[-0.582978  ] [-0.27967551] [-0.99988563]]/home/neel/Documents/VS-Code_Projects/Machine_Lrn(PY)/tempCodeRunnerFile.py:10: RuntimeWarning: overflow encountered in multiply  return x * (1-x)Synaptic weights after trainig:[[nan] [nan] [nan]]Outputs after training: [[nan] [nan] [nan] [nan]]

回答:

你的代码至少有两个问题。

第一个是你的sigmoid函数中莫名其妙地使用了两个return语句,它应该简单地是:

def sigmoid(x):  return 1/(1 + np.exp(-x))

这对于x=0(0.5)给出正确的结果,并且当x很大时趋于1:

sigmoid(0)# 0.5sigmoid(20)# 0.99999999793884631

你的(错误的)sigmoid函数:

def your_sigmoid(x):  return x*(1-x)  return 1/(1 + np.exp(-x))

很容易导致溢出:

your_sigmoid(20)# -380

另一个问题是你的导数计算错误;它应该是:

def Sigmoid_Derivative(x):    return sigmoid(x) * (1-sigmoid(x))

请参阅Sigmoid函数的导数在Math.SE的讨论,以及这里的讨论。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注