我正在尝试编写一些基于物品的协同过滤的代码，用于产品推荐。输入数据以买家为行，产品为列，并使用简单的0/1标志来表示买家是否购买了某物品。输出是一份与已购买物品相似的物品列表，按余弦相似度排序。

我正在尝试测量几种不同实现的准确性，但我还不确定最佳方法。我发现的大多数文献提到使用某种形式的均方误差，但这似乎更适用于协同过滤算法预测评分（例如，5分中的4分）的情况，而不是推荐用户将购买哪些物品。

我考虑的一种方法如下…

• 将数据分为训练集和保留集，在训练集上进行训练
• 对于集合中的每个物品（A），从保留集中选择用户购买了A的数据
• 确定购买A的用户中有多少百分比购买了为A购买者推荐的前三项推荐之一

上述方法看似有些随意，但我认为它在用相同数据训练的两种不同算法之间进行比较时可能是有用的。

回答：

实际上你的方法与文献中的方法非常相似，但我认为你应该考虑使用召回率和精确率，因为大多数论文都是这样做的。

http://en.wikipedia.org/wiki/Precision_and_recall

此外，如果你使用Apache Mahout，在这个类中有一个召回率和精确率的实现；GenericRecommenderIRStatsEvaluator