我有一个简单的Softmax实现:

softmax = np.exp(x) / np.sum(np.exp(x), axis=0)

对于这里设置的数组x: https://justpaste.it/6wis7

你可以这样加载它:

 import numpy as np x = np.as (只需复制并粘贴内容（从array开始）)

我得到:

softmax.mean(axis=0).shape (100,) # 现在所有元素都应该在这里是1.0，因为它是一个概率softmax.mean(axis=0) # 所有元素都不是1array([0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158,       0.05263158, 0.05263158, 0.05263158, 0.05263158, 0.05263158])

为什么这个实现是错误的？如何修复它？

回答：

概率的总和必须是1，而不是其平均值。让我们通过一个简单的例子来更清楚地说明这一点。假设有3个Softmax输出值s = [0.5, 0.25, 0.25]。显然它们必须总和为1（概率）。但它们的平均值是0.333。

>>> softmax.sum(axis=0)array([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,       1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,       1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,       1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,       1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,       1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])

我希望这个例子能清楚地说明这一点！