我正在开发一个建议系统。对于给定的输入，系统会输出N个建议。

我们已经收集了用户喜欢哪些建议的数据。例如：

input1 - output11 output12 output13input2 - output21input3 - output31 output32...

现在，我们希望基于这些数据来评估我们的系统。第一个指标是这些输出是否出现在我们的系统建议中，这很简单。

但是现在，我们想测试这些输出在建议中的位置是否合适。我们希望给定的输出尽可能靠近前面的建议。

我们希望为系统或每个输入提供一个单一的得分。

基于之前的数据，100%的得分情况如下：

input1 - output11 output12 output13 other other other ...input2 - output21 other    other    other other other ... input3 - output31 output32 other    other other other ......

（output11、output12、output13的顺序并不重要。重要的是，这三个建议 ideally 应该在前三个建议中）。

我们可以为每个建议所在的位置赋予一个分数，或者计算与理想位置的偏移量，但我没有找到一个好的方法来实现这一点。

是否有现成的度量方法可以用于此目的？

回答：

你需要的是一种称为平均精度均值（mean average precision）的度量方法（这是信息检索中的一个指标）。

本质上，对于输出列表中每个‘真实’数据点，你可以计算精度（该点之前的正确条目数 / 该点之前的条目总数）。如果你在输出列表中每个真实数据点的位置上平均这个数字，你就会得到一个符合你需求的度量方法。