Keras多层感知器训练数据显示损失为NaN

我的数据在data_2.csv中,格式如下。

a   b   c   d        e         outcome2   9   5   10175   3500        100001   3   4   23085   35000       340002   1   3   NaN     23283.33333 50000....

我尝试使用MLP进行训练。outcome列是目标输出。这是我的代码。

df = pd.read_csv('C://data_2.csv')sc = MinMaxScaler()X = sc.fit_transform(df.drop('income', axis=1).astype(float))test= df[['outcome']]y = sc.fit_transform(test.astype(float))X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=20, test_size=0.1)model = Sequential()model.add(Dense(32,input_shape=(5,), activation='relu'))model.add(Dense(32,activation='relu'))model.add(Dropout(0.5))model.add(Dense(1,activation='softmax'))model.compile(loss='mean_squared_error', optimizer='adam')model.summary()model.fit(X_train, y_train, epochs=200, batch_size=32, verbose=1)y_pred = model.predict(X_test)print("##########################################")print(y_pred)

当我训练数据时,显示损失: NaN,如下所示

Epoch 1/20045000/45000 [==============================] - 2s 48us/step - loss: nanEpoch 2/20045000/45000 [==============================] - 2s 38us/step - loss: nan

训练完成后,输出如下。

##########################################[[nan] [nan] [nan] ... [nan] [nan] [nan]]

X_train.shape是(45000, 5)y_train.shape是(45000, 1)所有输出都是NaN。如何解决这个问题?


回答:

你的代码中最突出的问题是你没有清理数据。简单来说,神经网络的运作方式是通过乘以每一层的每个节点(即Dense层)。想象一下,你在第一层有32个节点,你最大的正数大约是35,000。如果你将这个35,000(根据权重和偏置的不同)乘以自己32次,你的数字将超出限制,并且在几次epoch后就会变成NaN。

因此,你的问题出在你的激活函数relu上。这个激活函数只过滤正数(零或更大),并将任何负数变为零。使用这个激活函数,你的初始节点将会有天文数字!

我建议你将激活函数改为sigmoid函数。这个函数将数字缩放到-1到1之间(大多数情况)。这样,你的大输入将被转换为绝对值小于1的数字。

希望这对你有帮助。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注