我在Python中构建一些预测模型,并一直在使用scikits learn的SVM实现。它的使用非常方便,速度也相对较快。
不幸的是,我开始受到运行时间的限制。我在一个包含约4到5000个样本和650个特征的完整数据集上运行rbf SVM。每次运行大约需要一分钟。但使用5折交叉验证+网格搜索(使用从粗到细的搜索),这对于我手头的任务来说变得有点不可行。那么,一般来说,人们对Python中最快的SVM实现有什么推荐吗?或者有什么方法可以加速我的建模过程吗?
我听说过LIBSVM的GPU实现,似乎可以使用。我不知道有其他可用于Python的GPU SVM实现,但如果有的话,我肯定会考虑使用。另外,使用GPU是否会显著增加运行时间?
我还听说可以通过在scikits中使用线性SVM+特征映射来近似rbf SVM。不知道大家对这种方法有什么看法。同样,使用这种方法的人,它是否会显著增加运行时间?
所有关于提高程序速度的建议都非常欢迎。
回答:
我所知道的最具扩展性的核SVM实现是LaSVM。它是用C语言编写的,因此如果你熟悉Cython、ctypes或cffi,可以将其包装在Python中。或者你也可以通过命令行使用它。你可以使用sklearn.datasets
中的工具,将数据从NumPy或CSR格式转换为LaSVM可以用作训练/测试集的svmlight格式文件。