我有两个相同大小的方阵和一个方块的维度。我希望计算每对块之间的点积。本质上我想实现以下操作:
def patch_dot(A, B, patch_dim): res_dim = A.shape[0] - patch_dim + 1 res = np.zeros([res_dim, res_dim, res_dim, res_dim]) for i in xrange(res_dim): for j in xrange(res_dim): for k in xrange(res_dim): for l in xrange(res_dim): res[i, j, k, l] = (A[i:i + patch_dim, j:j + patch_dim] * B[k:k + patch_dim, l:l + patch_dim]).sum() return res
显然,这将是一个极其低效的实现。TensorFlow的tf.nn.conv2d看起来像是解决这个问题的天然选择,因为我本质上是在进行卷积操作,然而我的滤波矩阵并不是固定的。在TensorFlow中是否有自然的解决方案,或者我应该开始考虑实现自己的tf-op?
回答:
解决这个问题的自然方法是首先使用tf.extract_image_patches从矩阵B中提取重叠的图像块,然后使用tf.map_fn对A和每个B子块应用tf.nn.conv2D函数。
请注意,在使用tf.extract_image_patches和tf.nn.conv2D之前,您需要使用tf.reshape将您的矩阵重塑为形状为[1, width, height, 1]
的4D张量。
此外,在使用tf.map_fn之前,您还需要使用tf.transpose操作,以便B的子块由您用作tf.map_fn的elems
参数的张量的第一维度来索引。