我正在使用keras
构建一个推荐模型。由于项目集非常大,我想计算Hits @ N指标
作为准确性的衡量标准。也就是说,如果观察到的项目在前N个预测中,则视为相关推荐。
我已经使用numpy
构建了Hits @ N函数。但是当我试图将其移植到keras
的自定义损失函数中时,我遇到了张量的问题。具体来说,对张量进行枚举是不同的。当我查看语法以寻找等效的东西时,我开始质疑整个方法。这反映了我对Python的一般熟悉程度,显得不够简洁和低效。
def hits_at(y_true, y_pred): #numpy版本
a=y_pred.argsort(axis=1) #升序,按行排序,返回索引
a = np.fliplr(a) #反转以获得降序
a = a[:,0:10] #仅返回每行的前10列
Ybool = [] #初始化二维数组
for t, idx in enumerate(a):
ybool = np.zeros(num_items +1) #零填充;0索引保留
ybool[idx] = 1 #将推荐的项目从0翻转到1
Ybool.append(ybool)
A = map(lambda t: list(t), Ybool)
right_sum = (A * y_true).max(axis=1) #逐元素乘法,然后查找最大值
right_sum = right_sum.sum() #我们命中的次数是多少?
return right_sum/len(y_true) #我们命中观察的分数
我应该如何以更紧凑、更友好的张量方式来处理这个问题呢?
更新:
我能够让Top 1版本工作。我大致基于GRU4Rec描述来进行操作
def custom_objective(y_true, y_pred):
y_pred_idx_sort = T.argsort(-y_pred, axis=1)[:,0] #返回第一元素,即行中最大值的索引
y_act_idx = T.argmax(y_true, axis=1)#返回具有顶部值的索引数组
return T.cast(-T.mean(T.nnet.sigmoid((T.eq(y_pred_idx_sort,y_act_idx)))), theano.config.floatX)
我只需将顶部1个预测的数组与实际值的数组逐元素进行比较。Theano有一个eq()
函数可以做到这一点。
回答:
独立于N,你的损失函数的可能值数量是有限的。因此,它无法以合理的张量方式进行微分,你不能在Keras/Theano中将其用作损失函数。你可以尝试使用Theano的对数损失与前N个项目。
更新:
在Keras中,你可以编写自己的损失函数。它们具有如下形式的声明:
def loss_function(y_pred, y_true):
y_true
和y_pred
都是numpy数组,因此你可以轻松获得一个向量v
,当给定的示例在前500名时为1,否则为0。然后你可以将其转换为theano张量常量向量,并以如下方式应用:
return theano.tensor.net.binary_crossentropy(y_pred * v, y_true * v)
这应该能正确工作。
更新2:
对数损失与binary_crossentropy是相同的东西。