通用句子编码器,降低向量维度

我成功地使用TensorFlow hub上这个模块转换文档。

每个文档的输出是一个512维的向量,但是对于我的应用来说,这太大了,我希望降低维度,而模块本身并不提供这种功能。

我看到了几个选项:

  • 使用另一个输出维度较低的包。
  • 使用诸如PCA或tSNE之类的方法来降低维度。

使用PCA或tSNE的问题在于,需要根据许多示例向量的数据进行拟合——这意味着当新文档到达并被转换为512维向量时,我需要不断地拟合另一个模型,然后更新旧的文档向量——这在我的应用中将是一个巨大的问题。

有没有其他可以在单个数据点上操作的降维技术?


回答:

“UMAP支持通过标准的sklearn变换方法将新点添加到现有嵌入中。” UMAP在速度、准确性和理论基础方面是降维的赢家。

Related Posts

在使用k近邻算法时,有没有办法获取被使用的“邻居”?

我想找到一种方法来确定在我的knn算法中实际使用了哪些…

Theano在Google Colab上无法启用GPU支持

我在尝试使用Theano库训练一个模型。由于我的电脑内…

准确性评分似乎有误

这里是代码: from sklearn.metrics…

Keras Functional API: “错误检查输入时:期望input_1具有4个维度,但得到形状为(X, Y)的数组”

我在尝试使用Keras的fit_generator来训…

如何使用sklearn.datasets.make_classification在指定范围内生成合成数据?

我想为分类问题创建合成数据。我使用了sklearn.d…

如何处理预测时不在训练集中的标签

已关闭。 此问题与编程或软件开发无关。目前不接受回答。…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注