我正在学习使用keras进行深度学习，并尝试将其结果（准确率）与机器学习算法（sklearn）（如random forest、k_neighbors）进行比较。
似乎使用keras时我的结果是最差的。我正在处理一个简单的分类问题：iris dataset。我的Keras代码如下所示：
samples = datasets.load_iris()X = samples.datay = samples.targetdf = pd.DataFrame(data=X)df.columns = samples.feature_namesdf['Target'] = y# 准备数据X = df[df.columns[:-1]]y = df[df.columns[-1]]# 独热编码encoder = LabelEncoder()y1 = encoder.fit_transform(y)y = pd.get_dummies(y1).values# 分割X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3)# 构建模型model = Sequential()model.add(Dense(1000, activation='tanh', input_shape = ((df.shape[1]-1),)))model.add(Dense(500, activation='tanh'))model.add(Dense(250, activation='tanh'))model.add(Dense(125, activation='tanh'))model.add(Dense(64, activation='tanh'))model.add(Dense(32, activation='tanh'))model.add(Dense(9, activation='tanh'))model.add(Dense(y.shape[1], activation='softmax'))model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])model.fit(X_train, y_train)score, acc = model.evaluate(X_test, y_test, verbose=0)#结果:#score = 0.77#acc = 0.711我尝试过增加层数和/或更改每层的单元数和/或更改激活函数（改为relu），但结果似乎没有超过0.85。
使用sklearn的random forest或k_neighbors，我在相同的数据集上获得的结果超过0.95。
-
我错过了什么？
-
使用
sklearn我几乎没费什么力气就得到了好结果，而使用keras，我做了很多改进，但结果不如sklearn好。这是为什么？ -
我怎样才能在
keras中获得相同的结果？
回答：
简而言之，你需要：
- ReLU激活函数
- 更简单的模型
- 数据标准化
- 更多的训练轮次
详细来说：
首先，现在我们从不在中间网络层使用activation='tanh'。在这种问题中，我们几乎总是使用activation='relu'。
其次，你构建了一个相当大的Keras模型，可能是因为你的训练集中只有100个iris样本，数据量太少，不足以有效训练这样大的模型。试着大幅度减少层数和每层的节点数。从更简单的模型开始。
大型神经网络在我们有大量数据时表现出色，但在小数据集的情况下，如这里，它们的表达能力和灵活性可能变成一种负担，与简单的算法（如RF或k-nn）相比反而表现不佳。
第三个问题是，与基于树的模型（如随机森林）不同，神经网络通常需要对数据进行标准化，而你没有这样做。事实上，knn也需要标准化数据，但在这种特殊情况下，由于所有iris特征都在同一尺度上，这不会对性能产生负面影响。
最后但同样重要的是，你似乎只运行了一个训练轮次（如果你在model.fit中没有指定任何值，这是默认值）；这有点相当于构建一个只有一棵树的随机森林（顺便说一句，这仍然比单棵决策树好得多）。
总的来说，通过在你的代码中进行以下更改：
from sklearn.preprocessing import StandardScalersc = StandardScaler()X_train = sc.fit_transform(X_train)X_test = sc.transform(X_test)model = Sequential()model.add(Dense(150, activation='relu', input_shape = ((df.shape[1]-1),)))model.add(Dense(150, activation='relu'))model.add(Dense(y.shape[1], activation='softmax'))model.fit(X_train, y_train, epochs=100)其他保持不变，我们得到：
score, acc = model.evaluate(X_test, y_test, verbose=0)acc# 0.9333333373069763我们可以做得更好：使用稍微多的训练数据并对它们进行分层，即
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.20, # 多一些训练样本 stratify=y)使用相同的模型和训练轮次，你可以在测试集上获得完美的准确率1.0：
score, acc = model.evaluate(X_test, y_test, verbose=0)acc# 1.0（由于此类实验中默认的随机性，具体细节可能会有所不同）。
