假设对于一个分类任务，我有算法A和算法B，以及一个大小为M的标记数据集。算法A和算法B都是“确定性”的机器学习方法，也就是说，这些算法没有一个作为随机种子的参数，因此即使在相同的数据集上使用不同的随机种子，训练出的分类器也会是相同的。

我的问题是，如果我想证明算法A在统计上优于（或劣于）算法B，我应该怎么做？

回答：

根据你描述的问题，检查统计差异的唯一方法是改变你的数据集。生成几个不同的数据集，并在这些数据集上运行算法A和B，比较结果（不清楚你的质量指标是结果的正确性还是所需的时间，但这两种方式都适用）。