我的数据在data_2.csv中,格式如下。
a b c d e outcome2 9 5 10175 3500 100001 3 4 23085 35000 340002 1 3 NaN 23283.33333 50000....
我尝试使用MLP进行训练。outcome列是目标输出。这是我的代码。
df = pd.read_csv('C://data_2.csv')sc = MinMaxScaler()X = sc.fit_transform(df.drop('income', axis=1).astype(float))test= df[['outcome']]y = sc.fit_transform(test.astype(float))X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=20, test_size=0.1)model = Sequential()model.add(Dense(32,input_shape=(5,), activation='relu'))model.add(Dense(32,activation='relu'))model.add(Dropout(0.5))model.add(Dense(1,activation='softmax'))model.compile(loss='mean_squared_error', optimizer='adam')model.summary()model.fit(X_train, y_train, epochs=200, batch_size=32, verbose=1)y_pred = model.predict(X_test)print("##########################################")print(y_pred)
当我训练数据时,显示损失: NaN,如下所示
Epoch 1/20045000/45000 [==============================] - 2s 48us/step - loss: nanEpoch 2/20045000/45000 [==============================] - 2s 38us/step - loss: nan
训练完成后,输出如下。
##########################################[[nan] [nan] [nan] ... [nan] [nan] [nan]]
X_train.shape是(45000, 5)y_train.shape是(45000, 1)所有输出都是NaN。如何解决这个问题?
回答:
你的代码中最突出的问题是你没有清理数据。简单来说,神经网络的运作方式是通过乘以每一层的每个节点(即Dense层)。想象一下,你在第一层有32个节点,你最大的正数大约是35,000。如果你将这个35,000(根据权重和偏置的不同)乘以自己32次,你的数字将超出限制,并且在几次epoch后就会变成NaN。
因此,你的问题出在你的激活函数relu
上。这个激活函数只过滤正数(零或更大),并将任何负数变为零。使用这个激活函数,你的初始节点将会有天文数字!
我建议你将激活函数改为sigmoid
函数。这个函数将数字缩放到-1到1之间(大多数情况)。这样,你的大输入将被转换为绝对值小于1的数字。
希望这对你有帮助。