我是一名计算机科学教师，目前正在构建一门关于深度学习的入门课程。我选择使用Python和Keras框架作为工具。
我想通过在一些预定义的二维数据上训练复杂度逐渐增加的模型，向我的学生展示什么是过拟合，就像在这个例子的结尾那样。
同样的想法也出现在Andrew Ng的神经网络调优课程中的编程活动中。
然而，无论我多么努力，我都无法用Keras复制这种行为。使用相同的数据集和超参数，决策边界总是“更平滑”，模型永远不会适应数据集中的噪声点。请查看我的结果，并点击这里浏览相关代码。以下是相关的代码片段：
# 改变隐藏层的尺寸以观察欠拟合和过拟合plt.figure(figsize=(16, 32))hidden_layer_dimensions = [1, 2, 3, 4, 5, 20, 50]for i, hidden_layer_size in enumerate(hidden_layer_dimensions): fig = plt.subplot(4, 2, i+1) plt.title('隐藏层尺寸: {:d}'.format(hidden_layer_size)) model = Sequential() model.add(Dense(hidden_layer_size, activation='tanh', input_shape=(2,))) model.add(Dense(1, activation='sigmoid')) model.compile(SGD(lr=1.0), 'binary_crossentropy', metrics=['accuracy']) history = model.fit(data, targets, verbose=0, epochs=50) plot_decision_boundary(lambda x: model.predict(x) > 0.5, data, targets, fig)
我做错了什么吗？Keras中是否有一些内部优化机制在起作用？我可以通过其他编译选择来减轻这些影响吗？
回答：
你也可以增加训练轮数（epochs），并使用’relu’作为激活层，这样可以得到像Andrew Ng那样锐利的边缘。我在Colaboratory上运行了你的笔记本，使用了一个50个神经元的单层网络，并在你的月亮数据中添加了噪声，以得到不同的颜色区域。请查看结果，别忘了激活GPU（执行/更改执行类型）。
# 改变隐藏层的尺寸以观察欠拟合和过拟合plt.figure(figsize=(16, 32))hidden_layer_dimensions = [50]for i, hidden_layer_size in enumerate(hidden_layer_dimensions): fig = plt.subplot(4, 2, i+1) plt.title('隐藏层尺寸: {:d}'.format(hidden_layer_size)) model = Sequential() model.add(Dense(hidden_layer_size, activation='relu', input_shape=(2,))) model.add(Dense(1, activation='sigmoid')) model.compile(SGD(lr=1.0), 'binary_crossentropy', metrics=['accuracy']) history = model.fit(data, targets, verbose=0, epochs=5000) plot_decision_boundary(lambda x: model.predict(x) > 0.5, data, targets, fig)
