在机器学习预测算法中遇到问题

我正在学习机器学习,并且在尝试构建一个单层神经网络。学习的部分进行得很顺利。不幸的是,我不明白如何使用得到的权重syn0来预测x_test中的测试用例的答案。

这是代码:

import numpy as npdef nonlinear(x, deriv = False):    if(deriv==True):        return x*(1-x)    return 1/(1+np.exp(-x))def predict(x_test, y_test, ss):    prediction = nonlinear(np.abs(np.dot(x_test,ss)))    error = np.mean(np.abs(y_test - prediction))    print("P:",prediction,"\nE:",error)x = np.array([[1,0,1],              [0,1,1],              [0,1,0],              [1,1,1]])y = np.array([[1],              [0],              [0],              [0]])x_test = np.array([[1,0,0],                   [1,0,1],                   [0,1,1],                   [0,1,0]])y_test = np.array([[1],                   [1],                   [0],                   [0]])np.random.seed(1)syn0 = 2*np.random.random((3,1)) - 1 for _ in range(100000):    l0 = x    l1 = nonlinear(np.dot(l0, syn0))    l1_error = y - l1    if (_%10000) == 0:        print("Error at Gen",_,":", str(np.mean(np.abs(l1_error))))        print(l1)    l1_delta = l1_error * nonlinear(l1, deriv = True)    syn0 += l0.T.dot(l1_delta)print(syn0)predict(x_test, y_test, syn0)

回答:

在你的预测函数中,我不明白为什么要使用绝对值,这不是我所知的softmax函数的一部分。我做了如下修改:

def predict(x_test, y_test, ss):    prediction = nonlinear(np.dot(x_test,ss))    error = np.mean(np.abs(y_test - prediction))    print("P:",prediction,"\nE:",error)

这样修改后问题得到了解决,我得到了完美的预测结果。[0.9, 0.9, 0.0, 0.0]。你需要注意的一点是,你的响应变量是标签,即0和1。而你的模型返回的是概率。虽然你的错误度量方法是可行的,但我个人更喜欢设置一个阈值来评估分类器的表现。即在预测完成后,概率大于0.5的被标记为1,概率小于0.5的被标记为0。

在我看来,这将更好地衡量模型的准确性。然而,我能理解使用连续错误度量的好处,当你的标签分离得很好且分类器有信心时,这种方法会非常有效。

我认为你的问题更多是数学上的,而不是实现上的。如果你想了解更多关于神经网络的知识,我建议你访问这个网站

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注