我正在尝试使用逻辑回归为从两个点集（类别 y (-1, 1)）中抽取的数据实现一个二元分类器。如下所示，我们可以使用参数 a 来防止过拟合。

现在我不确定如何选择“合适”的a值。另外，我也不确定对于这类问题如何选择“合适”的收敛标准。

回答：

a的值

选择“合适”的东西是一种元回归：选择任何看起来合理的a值。运行回归。尝试使用比原始值大或小3倍的a值。如果其中一个效果比原始值好，则尝试在那个方向上再增加3倍——但为了可读性，将9倍四舍五入到10倍。

你明白这个意思……一直尝试直到找到合适的范围。除非你真的想要优化结果，否则你可能不需要将范围缩小到比3倍更精确的程度。

数据集划分

机器学习领域的人们已经花了很多篇幅来分析最佳的划分方式。最佳划分在很大程度上取决于你的数据空间。作为一个全局启发式方法，使用一半或稍多一些的数据进行训练；剩余的数据中，不超过一半用于测试，其余用于验证。例如，50:20:30 是一个可行的训练:测试:验证的近似比例。

同样，你可以在这个方面进行一些调整……但任何对错误率的真正测试都应该使用全新的数据。

收敛

这在很大程度上取决于你最佳解决方案附近的经验误差空间的特性，以及低梯度区域附近的特性。

首先要考虑的是选择一个可能为凸函数且没有平坦区域的误差函数。其次是要对期望解决方案区域的梯度大小有一些感觉（数据归一化有助于这一点）；利用这一点来帮助选择收敛半径；你可能也想在这里尝试3倍的缩放。最后一点是调整学习率，使其与归一化数据相适应。

这些对你有帮助吗？