我想在我的神经网络中使用余弦相似度，而不是标准的点积。

我已经查看了点积和余弦相似度的相关内容。

在上面的例子中，他们使用了

a = tf.placeholder(tf.float32, shape=[None], name="input_placeholder_a")
b = tf.placeholder(tf.float32, shape=[None], name="input_placeholder_b")
normalize_a = tf.nn.l2_normalize(a,0)
normalize_b = tf.nn.l2_normalize(b,0)
cos_similarity=tf.reduce_sum(tf.multiply(normalize_a,normalize_b))
sess=tf.Session()
cos_sim=sess.run(cos_similarity,feed_dict={a:[1,2,3],b:[2,4,6]})

然而，我尝试了自己的方法

x = tf.placeholder(tf.float32, [None, 3], name = 'x') # 输入有3个特征
w1 = tf.placeholder(tf.float32, [10, 3], name = 'w1') # 第一隐藏层有10个节点
cos_sim = tf.divide(tf.matmul(x, w1), tf.multiply(tf.norm(x), tf.norm(w1)))
with tf.Session() as sess:
    sess.run(cos_sim, feed_dict = {x: np.array([[1,2,3], [4,5,6], [7,8,9]]), w1: np.random.uniform(0,1,size = (10,3))})

我的方法有问题吗？另外，在矩阵乘法中发生了什么？我们实际上是在将一个节点的权重与不同样本的输入（在同一特征内）相乘吗？

回答：

你的例子中存在维度问题，我认为w1应该具有[3, 10]的形状。但忽略这些小细节，你的实现似乎是正确的。

不过，我建议采用更接近上例的方法，即使用tf.nn.l2_normalize，因为它保证返回与输入相同的形状，因此可以灵活选择沿哪个维度进行归一化。此外，tf.nn.l2_normalize在分母接近零时提供了数值稳定性，并且可能更有效率。

a = tf.placeholder(tf.float32, shape=[None, 3], name="input_placeholder_a")
b = tf.placeholder(tf.float32, shape=[3, 10], name="input_placeholder_b")
normalize_a = tf.nn.l2_normalize(a, dim=0)
normalize_b = tf.nn.l2_normalize(b, dim=0)
cos_similarity=tf.matmul(normalize_a, normalize_b)
sess=tf.Session()
cos_sim=sess.run(cos_similarity,feed_dict={
    a: np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]),
    b: np.arange(30).reshape([3, 10])})
print cos_sim

它给出了与你相同的结果。