scikit-learn HashingVectorizer 在稀疏矩阵上的应用

在scikit-learn中,如何对已经存在于scipy.sparse矩阵中的数据运行HashingVectorizer?

我的数据采用svmlight格式,因此我使用sklearn.datasets.load_svmlight_file加载数据,并得到一个scipy.sparse矩阵进行处理。

scikit-learn中的TfidfTransformer可以接受这样的稀疏矩阵进行转换,但是如何将相同的稀疏矩阵提供给HashingVectorizer来使用呢?

编辑:是否有一系列方法调用可以用于稀疏矩阵,可能使用FeatureHasher

编辑2:在与用户cfh的有益讨论后,我的目标是从输入:从svmlight数据获得的稀疏计数矩阵,到输出:一个类似于HashingVectorizer提供的标记出现矩阵。这该如何实现?

我提供了一个示例代码,并非常希望能得到一些关于如何实现的帮助,提前感谢:

from sklearn.feature_extraction.text import TfidfTransformerimport numpy as npfrom sklearn.feature_extraction.text import HashingVectorizerfrom scipy.sparse import csr_matrix# 示例数据X_train = np.array([[1., 1.], [2., 3.], [4., 0.]])print "X_train: \n", X_train# 转换为scipy.sparse.csr.csr_matrix,以与load_svmlight_file的输出保持一致X_train_crs = csr_matrix(X_train)print "X_train_crs: \n", X_train_crs   # 在这个csr矩阵上运行TfidfTransformer()没有问题,可以得到转换后的csr矩阵transformer = TfidfTransformer()tfidf = transformer.fit_transform(X_train)print "tfidf: \n", tfidf# 如何使用HashingVectorizer处理X_train_crs ?hv = HashingVectorizer(n_features=2)

回答:

哈希基本上是将词语随机组合到较少数量的桶中。对于已经计算好的频率矩阵,你可以这样模拟这个过程:

n_features = X_train.shape[1]n_desired_features = n_features / 5buckets = np.random.random_integers(0, n_desired_features-1, size=n_features)X_new = np.zeros((X_train.shape[0], n_desired_features), dtype=X_train.dtype)for i in range(n_features):    X_new[:,buckets[i]] += X_train[:,i]

当然,你可以根据需要调整n_desired_features。请确保在测试数据上也使用相同的buckets

如果你需要对稀疏矩阵做同样的事情,你可以这样做:

M = coo_matrix((repeat(1,n_features), (range(n_features), buckets)),               shape=(n_features,n_desired_features))X_new = X_train.dot(M)

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注