我正在学习Azure机器学习。在一些步骤中，我经常遇到随机种子，例如，

1. 分割数据
2. 未训练的算法模型，如二类回归、多类回归、树、森林等

在教程中，他们选择了随机种子为’123’；训练后的模型具有高准确性，但当我尝试选择其他随机整数如245、256、12、321等时，效果不佳。

问题

• 什么是随机种子整数？
• 如何从整数值范围中谨慎选择随机种子？选择的关键或策略是什么？
• 为什么随机种子会显著影响机器学习的评分、预测和训练模型的质量？

背景

1. 我有Iris-Sepal-Petal数据集，包括Sepal（长度和宽度）和Petal（长度和宽度）
2. 数据集的最后一列是’二项类名’
3. 我使用多类决策森林算法训练数据集，并按顺序使用不同的随机种子321、123和12345来分割数据
4. 这影响了训练模型的最终质量。随机种子#123在预测概率得分方面表现最佳：1。

观察

1. 随机种子: 321

2. 随机种子: 123

3. 随机种子: 12345

回答：

什么是随机种子整数？

关于随机种子的一般概念，我不会详细讨论；通过简单的网络搜索可以找到大量相关资料（例如，请参见这个Stack Overflow线程）。

随机种子只是用来初始化（伪）随机数生成器，主要是为了使机器学习示例具有可重复性。

如何从整数值范围中谨慎选择随机种子？选择的关键或策略是什么？

可以说这个问题已经在上面隐式地回答了：你不应该选择特定的随机种子，你的结果在不同的随机种子下应该大致相同。

为什么随机种子会显著影响机器学习的评分、预测和训练模型的质量？

现在，进入你问题的核心。在这里（即使用iris数据集），答案是小样本效应…

首先，你报告的不同随机种子的结果差异并不大。尽管如此，我同意，一开始，宏平均精度0.9和0.94的差异可能看起来很大；但仔细观察后会发现，这种差异实际上并不成问题。为什么？

使用你仅有的150个样本数据集的20%，会在测试集中留下仅30个样本（在这里进行评估）；这是分层的，即每个类别大约有10个样本。现在，对于如此小的数据集，很容易想象，仅1-2个样本的正确分类差异就可以导致报告的性能指标的这种明显差异。

让我们使用scikit-learn中的决策树分类器来验证这一点（问题的本质不依赖于特定的框架或机器学习算法）：

from sklearn.datasets import load_irisfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.metrics import confusion_matrix, classification_reportfrom sklearn.model_selection import train_test_splitX, y = load_iris(return_X_y=True)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=321, stratify=y)dt = DecisionTreeClassifier()dt.fit(X_train, y_train)y_pred = dt.predict(X_test)print(confusion_matrix(y_test, y_pred))print(classification_report(y_test, y_pred))

结果如下：

[[10  0  0] [ 0  9  1] [ 0  0 10]]              precision    recall  f1-score   support           0       1.00      1.00      1.00        10           1       1.00      0.90      0.95        10           2       0.91      1.00      0.95        10   micro avg       0.97      0.97      0.97        30   macro avg       0.97      0.97      0.97        30weighted avg       0.97      0.97      0.97        30

让我们重复上面的代码，仅更改train_test_split中的random_state参数；对于random_state=123，我们得到：

[[10  0  0] [ 0  7  3] [ 0  2  8]]              precision    recall  f1-score   support           0       1.00      1.00      1.00        10           1       0.78      0.70      0.74        10           2       0.73      0.80      0.76        10   micro avg       0.83      0.83      0.83        30   macro avg       0.84      0.83      0.83        30weighted avg       0.84      0.83      0.83        30

而对于random_state=12345，我们得到：

[[10  0  0] [ 0  8  2] [ 0  0 10]]              precision    recall  f1-score   support           0       1.00      1.00      1.00        10           1       1.00      0.80      0.89        10           2       0.83      1.00      0.91        10   micro avg       0.93      0.93      0.93        30   macro avg       0.94      0.93      0.93        30weighted avg       0.94      0.93      0.93        30

查看3个混淆矩阵的绝对数值（在小样本中，百分比可能是误导性的），你应该能够说服自己，差异并不大，这些差异可以被认为是由整个过程中的随机元素（这里是数据集的具体分割成训练和测试集）所合理解释的。

如果你的测试集显著增大，这些差异将实际上可以忽略不计…

最后一个注意事项；我使用了与你相同的种子数，但这实际上并不意味着什么，因为一般来说，跨平台和语言的随机数生成器是不相同的，因此相应的种子实际上是不兼容的。请参见我在随机种子在系统之间是否兼容？中的回答以获取演示。