我在尝试使用来自Kaggle的Higgs Boson挑战赛数据训练模型。首先，我决定创建一个简单的Keras模型。我尝试了不同数量和宽度的层、不同的成本函数、不同的优化器以及神经元中的不同函数，但训练集上的准确率始终在0.65到0.7之间。我不太明白这是为什么。以下是一个表现异常的模型示例：
from keras.layers import Dense, merge, Activation, Dropoutfrom keras.models import Modelfrom keras.models import Sequentialfrom keras.optimizers import SGDmodel = Sequential()model.add(Dense(600, input_shape=(30,),activation="relu"))model.add(Dropout(0.5))model.add(Dense(400, activation='relu'))model.add(Dropout(0.5))model.add(Dense(100, activation='relu'))model.add(Dropout(0.5))model.add(Dense(1, activation='sigmoid'))sgd = SGD(lr=0.01, decay=1e-6)model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=['accuracy'])model.fit(train,labels,nb_epoch=1,batch_size=1)我还尝试了更大的模型，但准确率依然如此。请告诉我我做错了什么。
编辑
我尝试用100个周期和批量大小为100来训练这个模型，结果损失为4.9528，准确率为0.6924。而且每次对每个样本的输出都是零。
回答：
问题出在你的模型总是输出多数类。这不是一个加权问题（一个类别的出现频率高于另一个），看起来你的网络“学会”了总是输出同一个类别。
尝试使用不同的分类器（例如随机森林），你会发现准确率会好得多。
from sklearn.ensemble import RandomForestClassifierrf = RandomForestClassifier()rf.fit(X_train, y_train)在尝试解决神经网络的问题时，我使用了SMOTE来平衡训练数据集。你应该使用“adam”作为分类的优化器。另外，对于这个问题，一个更小的网络架构就足够了。
from keras.layers import Dense, Dropoutfrom keras.models import Sequentialimport pandas as pdimport numpy as npfrom sklearn.model_selection import train_test_splitfrom imblearn.over_sampling import SMOTEdf = pd.read_csv("training.csv")y = np.array(df['Label'].apply(lambda x: 0 if x=='s' else 1))X = np.array(df.drop(["EventId","Label"], axis=1))sm = SMOTE()X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)X_res, y_res = sm.fit_sample(X_train, y_train)model = Sequential()model.add(Dense(25, input_shape=(31,),activation="relu"))model.add(Dropout(0.5))model.add(Dense(10, activation='relu'))model.add(Dropout(0.5))model.add(Dense(1, activation='sigmoid'))model.compile(optimizer="adam",loss='binary_crossentropy',metrics=['accuracy'])model.fit(X_res, y_res,validation_data=(X_test, y_test),nb_epoch=100,batch_size=100)示例结果：
Epoch 11/100230546/230546 [==============================] - 5s - loss: 0.5146 - acc: 0.7547 - val_loss: 0.3365 - val_acc: 0.9138Epoch 12/100230546/230546 [==============================] - 5s - loss: 0.4740 - acc: 0.7857 - val_loss: 0.3033 - val_acc: 0.9270Epoch 13/100230546/230546 [==============================] - 5s - loss: 0.4171 - acc: 0.8295 - val_loss: 0.2821 - val_acc: 0.9195