我正在尝试寻找一种不使用exp()函数来计算softmax概率的方法。

假设条件如下：

目标：计算 f(x1, x2, x3) = exp(x1)/[exp(x1)+exp(x2)+exp(x3)]
条件：
    1. -64 < x1,x2,x3 < 64
    2. 结果保留三位小数。

在这样的条件下，有没有办法找到一个多项式来近似表示结果？

回答：

由于激活范围通常远大于exp(x)的定义域，人们通常需要找出最大的激活值m = max(a,b,c)，然后从所有值中减去这个值。

这与1 / (1 + exp(b-m) + exp(c-m))相同，其中a被选为或排序为最大值。

这样做的好处是减少了exp函数的使用次数，然而排序的成本可能比最快的exp近似方法还要高：

对于exp函数，还有一个众所周知的第一阶近似方法，形式为(int)(x * 12102203.2f) + 127 * (1 << 23) - 486411，重新解释为浮点数——参见使用SSE实现自然指数函数的最快方法

我最近发现另一种方法，虽然准确性稍差，但在特定的SIMD实现（Arm64）上并行性能更好，且不使用float <-> int转换：

   template <typename T>   T fastExp2(T x) {        if constexpr(sizeof(x) == 2) {            // 0 10101 0 01111 xxxx // 仅4位小数部分            x += (T)79.0f;            return std::bit_cast<T>(std::bit_cast<uint16_t>(x) << 6);        } else if constexpr(sizeof(x) == 4) {            // 0 10001000 001111111 xxxxx xxxxx xxxx // 14位小数部分            x += (T)639.0f;            return std::bit_cast<T>(std::bit_cast<uint32_t>(x) << 9);           }        // 0 10000001011 001111111111 xxxx... // 40位小数部分        x += (T)5119.0f;        return std::bit_cast<T>(std::bit_cast<uint64_t>(x) << 12);   }

如果不明显的话，这里发生的事情是参数x被一个大的（精心选择的）整数偏移或移动。大部分小数位保持不变，而整数部分将被加到指数偏差上。此时，正确的（但被截断的）结果已经嵌入在浮点数中，只需移动到正确的位置即可。

可以通过在最后的卷积层中预乘权重log2(e) == 1.44269504088896来避免指数函数中的缩放。