我尝试在一个假设问题上应用机器学习算法：

我通过以下Python代码创建了一个虚假的特征向量和虚假的结果数据集：

x=[]y=[]for i in range(0,100000):    mylist=[]    mylist.append(i)    mylist.append(i)    x.append(mylist)    if(i%2)==0:        y.append(0)    else:        y.append(1)

上述代码为我提供了两个Python列表，即x = [[0,0],[1,1],[2,2]…依此类推] #这个列表包含虚假的特征向量，包含两个相同的数字

y = [0,1,0…依此类推] #这个列表包含虚假的测试标签，0表示偶数，1表示奇数

我认为这些测试数据足以让机器学习算法学习。我使用以下Python代码来训练几种不同的机器学习模型。

方法1：高斯朴素贝叶斯

from sklearn.naive_bayes import GaussianNBgnb = GaussianNB()gnb.fit(x,y)x_pred = [[1,1],[2,2],[3,3],[4,4],[5,5],[6,6],[7,7],[8,8],[9,9],[10,10],[11,11],[12,12],[13,13],[14,14],[15,15],[16,16]]y_pred=gnb.predict(x_pred)print y_pred

我得到了以下错误的输出，分类器无法正确预测：

[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

方法2：支持向量机

from sklearn import svmclf = svm.SVC()clf.fit(x, y)x_pred = [[1,1],[2,2],[3,3],[4,4],[5,5],[6,6],[7,7],[8,8],[9,9],[10,10],[11,11],[12,12],[13,13],[14,14],[15,15],[16,16]]y_pred=clf.predict(x_pred)print y_pred

我得到了以下正确的输出，分类器成功预测：

[1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0]

能否有人解释一下为什么一种方法的准确率为50%，而另一种方法的准确率为100%？

如果这个问题被标记为错误的类别，请告诉我。

回答：

朴素贝叶斯是一个参数模型：它试图用九个参数总结你的训练集，即类先验（每个类别50%）和每个类别、每个特征的均值和方差。然而，你的目标值y与输入x的均值和方差没有任何关系，(*) 因此这些参数无关紧要，模型实际上是在随机猜测。

相比之下，支持向量机会记住它的训练集，并使用核函数将新输入与其训练输入进行比较。它应该选择其训练样本的一个子集，但对于这个问题，它被迫记住所有样本：

>>> x = np.vstack([np.arange(100), np.arange(100)]).T>>> y = x[:, 0] % 2>>> from sklearn import svm>>> clf = svm.SVC()>>> clf.fit(x, y)SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, degree=3, gamma=0.0,  kernel='rbf', max_iter=-1, probability=False, random_state=None,  shrinking=True, tol=0.001, verbose=False)>>> clf.support_vectors_.shape(100, 2)

由于你使用了在训练集中出现过的测试样本，它只需查找你提供的样本在训练集中对应的标签并返回这些标签，因此你得到了100%的准确率。如果你向SVM提供训练集之外的样本，你会发现它也开始随机猜测：

>>> clf.predict(x * 2)array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,       0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,       1, 1, 1, 1, 1, 1, 1, 1])

由于乘以二使得所有特征都变成偶数，真实的标签应该是全零，准确率为50%：这相当于随机猜测的准确率。

(*) 实际上在训练集中确实存在一些依赖关系，但随着数据量的增加，这种依赖关系会逐渐减弱。