基于Coursera的机器学习课程，我尝试使用Python实现神经网络的成本函数。有一个问题与此类似，并且有一个被接受的答案，但那个答案中的代码是用Octave编写的。为了不偷懒，我尝试将答案中的相关概念适应到我的情况中，据我所知，我正确地实现了这个函数。然而，我输出的成本与预期的成本不同，所以我做错了什么。

这是一个可以复现的小例子：

以下链接指向一个.npz文件，可以加载（如下所示）以获取相关数据。如果你使用它，请将文件重命名为"arrays.npz"。

http://www.filedropper.com/arrays_1

if __name__ == "__main__":
    with np.load("arrays.npz") as data:
        thrLayer = data['thrLayer'] # 最终层的激活后输出；你
        # 可以使用下面的权重来推导这个最终层，如果需要验证的话
        thetaO = data['thetaO'] # 层1和层2之间的权重数组
        thetaT = data['thetaT'] # 层2和层3之间的权重数组
        Ynew = data['Ynew'] # 输出数组，在位置i有一个1，其余为0
        # 类i是X[i,:]描述的数据所属的类
        X = data['X'] # 原始数据，第一列附加了1
        Y = data['Y'] # 一维列向量；条目i包含条目i的类
    import numpy as np
    m = len(thrLayer)
    k = thrLayer.shape[1]
    cost = 0
    for i in range(m):
        for j in range(k):
            cost += -Ynew[i,j]*np.log(thrLayer[i,j]) - (1 - Ynew[i,j])*np.log(1 - thrLayer[i,j])
    print(cost)
    cost /= m
    '''正则化成本组件'''
    regCost = 0
    for i in range(len(thetaO)):
        for j in range(1,len(thetaO[0])):
            regCost += thetaO[i,j]**2
    for i in range(len(thetaT)):
        for j in range(1,len(thetaT[0])):
            regCost += thetaT[i,j]**2
    regCost *= lam/(2*m)
    print(cost)
    print(regCost)

实际上，cost应该为0.287629，而cost + newCost应该为0.383770。

为参考起见，这是上面问题中发布的成本函数：

回答：

问题在于你使用了错误的类标签。在计算成本函数时，你需要使用真实标签，或真实的类标签。

我不确定你的Ynew数组是什么，但它不是训练输出。所以，我修改了你的代码，使用Y代替Ynew作为类标签，得到了正确的成本。

import numpy as np
with np.load("arrays.npz") as data:
    thrLayer = data['thrLayer'] # 最终层的激活后输出；你
    # 可以使用下面的权重来推导这个最终层，如果需要验证的话
    thetaO = data['thetaO'] # 层1和层2之间的权重数组
    thetaT = data['thetaT'] # 层2和层3之间的权重数组
    Ynew = data['Ynew'] # 输出数组，在位置i有一个1，其余为0
    # 类i是X[i,:]描述的数据所属的类
    X = data['X'] # 原始数据，第一列附加了1
    Y = data['Y'] # 一维列向量；条目i包含条目i的类
m = len(thrLayer)
k = thrLayer.shape[1]
cost = 0
Y_arr = np.zeros(Ynew.shape)
for i in xrange(m):
    Y_arr[i,int(Y[i,0])-1] = 1
for i in range(m):
    for j in range(k):
        cost += -Y_arr[i,j]*np.log(thrLayer[i,j]) - (1 - Y_arr[i,j])*np.log(1 - thrLayer[i,j])
cost /= m
'''正则化成本组件'''
regCost = 0
for i in range(len(thetaO)):
    for j in range(1,len(thetaO[0])):
        regCost += thetaO[i,j]**2
for i in range(len(thetaT)):
    for j in range(1,len(thetaT[0])):
        regCost += thetaT[i,j]**2
lam=1
regCost *= lam/(2.*m)
print(cost)
print(cost + regCost)

这会输出：

0.287629165161
0.383769859091

编辑：修复了regCost *= lam/(2*m)中的整数除法错误，该错误导致regCost归零。