梯度下降方法的默认值为1e-5。

这个值对于测试集的泛化来说是否太小了？我应该将它保持在什么范围内？

梯度是否表示训练期间（即使用训练数据时）目标与预测类别之间的误差？

回答：

如果您没有使用正则化，您应该在保留集（也称为验证集）上测试几种学习率和几种迭代次数。如果您使用了正则化，则不应这样做，而应尝试几种正则化项的权重值（通常是C或lambda）。

至于人们尝试的值，从2^-10到2^-1不等。一般来说，如果您的特征值处于合理的数值范围内（从-1到1或从0到1），这会很有帮助。