sklearn的FeatureHasher
特征提取器相比于DictVectorizer
具有多项优势,这得益于使用了哈希技巧。
其中一个看似难以利用的优势是其能够并行运行的能力。
我的问题是,如何轻松地使FeatureHasher
并行运行?
回答:
你可以使用joblib
(scikit-learn偏好的并行处理库)来实现FeatureHasher.transform
的并行版本:
from sklearn.externals.joblib import Parallel, delayed
import numpy as np
import scipy.sparse as sp
def transform_parallel(self, X, n_jobs):
transform_splits = Parallel(n_jobs=n_jobs, backend="threading")(
delayed(self.transform)(X_split)
for X_split in np.array_split(X, n_jobs))
return sp.vstack(transform_splits)
FeatureHasher.transform_parallel = transform_parallel
f = FeatureHasher()
f.transform_parallel(np.array([{'a':3,'b':2}]*10), n_jobs=5)
<10x1048576 sparse matrix of type '<class 'numpy.float64'>'
with 20 stored elements in Compressed Sparse Row format>