我是Spark机器学习的新手。我正在尝试使用协同过滤和ALS算法进行实验。在这个算法中,我需要对用于训练算法的rank、numIterations和lambda参数进行一些澄清。我还需要知道如何调整这个算法,以便在最小的和最大的数据集上产生改进的预测。有人能解释一下吗?
回答:
根据文档:
numBlocks 是用于并行计算的块数(设置为-1以自动配置)。
rank 是要使用的特征数(也称为潜在因子的数量)。
iterations 是要运行的ALS迭代次数。ALS通常在20次迭代或更少的情况下收敛到一个合理的解决方案。
numBlocks
与矩阵的块有关。
rank
是隐藏因子,你希望使用的特征数量。更多信息请阅读这里。
iterations 是你希望执行的重复次数。参数的名称不是 numIterations。
更多关于ALS的信息,请阅读这里。
我需要知道如何调整训练参数以提高预测效果,无论数据量是少还是多?
这总是取决于数据。使用交叉验证来选择这些参数。