使用 LibSVM 计算与均值/标准差对最接近的匹配项

我是 SVM 的新手,我正在尝试使用 Python 接口与libsvm,用于分类包含均值和标准差的样本。但是,我得到的结果毫无意义。

这项任务是否不适合 SVM,或者我在使用 libsvm 时是否存在错误? 以下是我用于测试的简单 Python 脚本:

#!/usr/bin/env python# Simple classifier test.# Adapted from the svm_test.py file included in the standard libsvm distribution.from collections import defaultdictfrom svm import *# Define our sparse data formatted training and testing sets.labels = [1,2,3,4]train = [ # key: 0=mean, 1=stddev    {0:2.5,1:3.5},    {0:5,1:1.2},    {0:7,1:3.3},    {0:10.3,1:0.3},]problem = svm_problem(labels, train)test = [    ({0:3, 1:3.11},1),    ({0:7.3,1:3.1},3),    ({0:7,1:3.3},3),    ({0:9.8,1:0.5},4),]# Test classifiers.kernels = [LINEAR, POLY, RBF]kname = ['linear','polynomial','rbf']correct = defaultdict(int)for kn,kt in zip(kname,kernels):    print kt    param = svm_parameter(kernel_type = kt, C=10, probability = 1)    model = svm_model(problem, param)    for test_sample,correct_label in test:        pred_label, pred_probability = model.predict_probability(test_sample)        correct[kn] += pred_label == correct_label# Show results.print '-'*80print 'Accuracy:'for kn,correct_count in correct.iteritems():    print '\t',kn, '%.6f (%i of %i)' % (correct_count/float(len(test)), correct_count, len(test))

这个领域看起来很简单。我希望如果它被训练成知道 2.5 的均值意味着标签 1,那么当它看到 2.4 的均值时,它应该返回标签 1 作为最可能的分类。但是,每个内核的准确率都是 0%。为什么会这样?

另外,有没有办法隐藏 libsvm 在终端中转储的所有冗长训练输出?我搜索了 libsvm 的文档和代码,但找不到任何关闭它的方法。

此外,我希望使用简单的字符串作为稀疏数据集中的键(例如,{‘mean’:2.5,’stddev’:3.5})。不幸的是,libsvm 仅支持整数。我尝试使用字符串的长整数表示形式(例如,’mean’ == 1109110110971110),但 libsvm 似乎将这些截断为普通的 32 位整数。我看到的唯一解决方法是维护一个单独的“键”文件,该文件将每个字符串映射到一个整数(’mean’=0, ‘stddev’=1)。但显然这将很麻烦,因为我必须维护和持久化第二个文件以及序列化的分类器。有人看到更简单的方法吗?


回答:

问题似乎来自将多类预测与概率估计相结合。

如果您将代码配置为不进行概率估计,它实际上可以工作,例如:

<snip># Test classifiers.kernels = [LINEAR, POLY, RBF]kname = ['linear','polynomial','rbf']correct = defaultdict(int)for kn,kt in zip(kname,kernels):  print kt  param = svm_parameter(kernel_type = kt, C=10) # Here -> rm probability = 1  model = svm_model(problem, param)  for test_sample,correct_label in test:      # Here -> change predict_probability to just predict      pred_label = model.predict(test_sample)      correct[kn] += pred_label == correct_label</snip>

通过此更改,我得到:

--------------------------------------------------------------------------------Accuracy:        polynomial 1.000000 (4 of 4)        rbf 1.000000 (4 of 4)        linear 1.000000 (4 of 4)

如果将训练集中的数据加倍(即,包含每个数据点两次),则使用概率估计进行预测确实有效。但是,我找不到任何方法来参数化模型,以便多类预测与概率一起仅适用于原始的四个训练点。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注