在Theano中计算Hits @ N指标

我正在使用keras构建一个推荐模型。由于项目集非常大,我想计算Hits @ N指标作为准确性的衡量标准。也就是说,如果观察到的项目在前N个预测中,则视为相关推荐。

我已经使用numpy构建了Hits @ N函数。但是当我试图将其移植到keras的自定义损失函数中时,我遇到了张量的问题。具体来说,对张量进行枚举是不同的。当我查看语法以寻找等效的东西时,我开始质疑整个方法。这反映了我对Python的一般熟悉程度,显得不够简洁和低效。

def hits_at(y_true, y_pred): #numpy版本
    a=y_pred.argsort(axis=1) #升序,按行排序,返回索引
    a = np.fliplr(a) #反转以获得降序
    a = a[:,0:10] #仅返回每行的前10列
    Ybool = [] #初始化二维数组
    for t, idx in enumerate(a):
        ybool = np.zeros(num_items +1) #零填充;0索引保留
        ybool[idx] = 1 #将推荐的项目从0翻转到1
        Ybool.append(ybool)
    A = map(lambda t: list(t), Ybool)
    right_sum = (A * y_true).max(axis=1) #逐元素乘法,然后查找最大值
    right_sum = right_sum.sum() #我们命中的次数是多少?
    return right_sum/len(y_true) #我们命中观察的分数

我应该如何以更紧凑、更友好的张量方式来处理这个问题呢?

更新:

我能够让Top 1版本工作。我大致基于GRU4Rec描述来进行操作

def custom_objective(y_true, y_pred):
    y_pred_idx_sort = T.argsort(-y_pred, axis=1)[:,0] #返回第一元素,即行中最大值的索引
    y_act_idx = T.argmax(y_true, axis=1)#返回具有顶部值的索引数组
    return T.cast(-T.mean(T.nnet.sigmoid((T.eq(y_pred_idx_sort,y_act_idx)))), theano.config.floatX)

我只需将顶部1个预测的数组与实际值的数组逐元素进行比较。Theano有一个eq()函数可以做到这一点。


回答:

独立于N,你的损失函数的可能值数量是有限的。因此,它无法以合理的张量方式进行微分,你不能在Keras/Theano中将其用作损失函数。你可以尝试使用Theano的对数损失与前N个项目。

更新:

在Keras中,你可以编写自己的损失函数。它们具有如下形式的声明:

def loss_function(y_pred, y_true):

y_truey_pred都是numpy数组,因此你可以轻松获得一个向量v,当给定的示例在前500名时为1,否则为0。然后你可以将其转换为theano张量常量向量,并以如下方式应用:

return theano.tensor.net.binary_crossentropy(y_pred * v, y_true * v)

这应该能正确工作。

更新2:

对数损失与binary_crossentropy是相同的东西。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注