在Theano中计算Hits @ N指标

我正在使用keras构建一个推荐模型。由于项目集非常大,我想计算Hits @ N指标作为准确性的衡量标准。也就是说,如果观察到的项目在前N个预测中,则视为相关推荐。

我已经使用numpy构建了Hits @ N函数。但是当我试图将其移植到keras的自定义损失函数中时,我遇到了张量的问题。具体来说,对张量进行枚举是不同的。当我查看语法以寻找等效的东西时,我开始质疑整个方法。这反映了我对Python的一般熟悉程度,显得不够简洁和低效。

def hits_at(y_true, y_pred): #numpy版本
    a=y_pred.argsort(axis=1) #升序,按行排序,返回索引
    a = np.fliplr(a) #反转以获得降序
    a = a[:,0:10] #仅返回每行的前10列
    Ybool = [] #初始化二维数组
    for t, idx in enumerate(a):
        ybool = np.zeros(num_items +1) #零填充;0索引保留
        ybool[idx] = 1 #将推荐的项目从0翻转到1
        Ybool.append(ybool)
    A = map(lambda t: list(t), Ybool)
    right_sum = (A * y_true).max(axis=1) #逐元素乘法,然后查找最大值
    right_sum = right_sum.sum() #我们命中的次数是多少?
    return right_sum/len(y_true) #我们命中观察的分数

我应该如何以更紧凑、更友好的张量方式来处理这个问题呢?

更新:

我能够让Top 1版本工作。我大致基于GRU4Rec描述来进行操作

def custom_objective(y_true, y_pred):
    y_pred_idx_sort = T.argsort(-y_pred, axis=1)[:,0] #返回第一元素,即行中最大值的索引
    y_act_idx = T.argmax(y_true, axis=1)#返回具有顶部值的索引数组
    return T.cast(-T.mean(T.nnet.sigmoid((T.eq(y_pred_idx_sort,y_act_idx)))), theano.config.floatX)

我只需将顶部1个预测的数组与实际值的数组逐元素进行比较。Theano有一个eq()函数可以做到这一点。


回答:

独立于N,你的损失函数的可能值数量是有限的。因此,它无法以合理的张量方式进行微分,你不能在Keras/Theano中将其用作损失函数。你可以尝试使用Theano的对数损失与前N个项目。

更新:

在Keras中,你可以编写自己的损失函数。它们具有如下形式的声明:

def loss_function(y_pred, y_true):

y_truey_pred都是numpy数组,因此你可以轻松获得一个向量v,当给定的示例在前500名时为1,否则为0。然后你可以将其转换为theano张量常量向量,并以如下方式应用:

return theano.tensor.net.binary_crossentropy(y_pred * v, y_true * v)

这应该能正确工作。

更新2:

对数损失与binary_crossentropy是相同的东西。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注