我刚开始学习聚类，正在进行一个关于推文聚类的小项目。我使用了TF-IDF，然后进行了层次聚类。我对如何设置层次聚类的阈值感到困惑。阈值应该设为多少？如何决定？
我使用的是Python的scikit模块进行实现的。

回答：

虽然有几种方法可以帮助终止层次聚类（或一般意义上的聚类），但没有一种最佳的通用方法。这是因为对于任意数据，没有所谓的“正确”聚类。相反，“正确性”非常依赖于具体领域和应用。

因此，虽然你可以尝试不同的方法（例如，肘部法或其他方法），但这些方法本身也有需要你“调整”的参数，以获得你认为“正确”的聚类。这个视频可能会对你有所帮助（尽管它主要处理的是k-means，但这些概念同样适用于其他聚类方法） – https://www.youtube.com/watch?v=3JPGv0XC6AE