我有用户在我的网站上进行搜索的日志记录，包括他们输入的搜索内容以及他们点击的结果。我希望改进搜索算法，但在改进之前，我需要一种衡量其质量的办法。
我知道可以通过Amazon Turk等平台收集数据，并让人类制作测试套件。然而，我更希望利用网站日志中已有的数据。
请问有人可以指导我如何进行这种评估，并使用哪种算法吗？
谢谢！
回答：
这实际上是一个很大的话题，通常使用一种称为交错（Interleaving）的在线评估技术。你只有web服务器的日志，还是也创建了自定义的搜索日志？是否使用Google Analytics？
关于以系统为中心的搜索引擎评估的良好入门概述，并指向该主题的其他工作，请参见Mounia Lalmas的幻灯片：https://www.slideshare.net/mobile/mounialalmas/an-introduction-to-systemoriented-evaluation-in-information-retrieval
从实际操作的角度来看，你可以查看Daniel Tunkelang的这篇文章：http://twiggle.com/blog/evaluating-good-search-part-ii-measuring-searcher-behavior?utm_content=59131694
你可以检查首次点击结果的位置（平均倒数排名），如果重建工作量太大，简单地统计点击次数也是一个好的开始。这为你提供了一个基线。根据你的领域和应用的设置，你可以检查在点击后采取行动（预订、购买、联系等）的频率（转化率）。如果你的网站有一定流量，你可以进行A/B测试，看哪种方法能带来更高的点击率和/或转化率。
