当我在阅读斯坦福大学的机器学习材料关于自编码器的部分时，发现了一个公式很难自己证明。材料链接
问题是：“什么输入图像 x 会使 ai 最大程度激活？”
问题和上下文的屏幕截图：
非常感谢你们提前给出的回答！
回答：
虽然这个问题可以通过使用KLT条件和拉格朗日乘数严格解决，但还有一个更直观的方法来找出结果。我假设 f(.) 是一个单调递增的、S形的非线性函数（ReLU 也是有效的）。因此，在约束条件 (x1)^2+…+(x100)^2 <= 1 下，寻找 w1x1+…+w100x100 + b 的最大值，等同于在相同约束下寻找 f(w1x1+…+w100x100 + b) 的最大值。
请注意，g = w1x1+…+w100x100 + b 是 x 项的线性函数（我们称之为 g，以便后续引用）。因此，在该函数的定义域内，任何点 (x1,…,x100) 的最大增加方向是相同的，即梯度。梯度在定义域内的任何点都是 (w1,w2,…,w100)，这意味着如果我们沿着 (w1,w2,…,w100) 的方向前进，无论从哪里开始，我们都能获得函数的最大增加。为了简化问题并便于可视化，假设我们处于 R^2 空间，函数为 w1x1 + w2x2 + b：
最优的 x1 和 x2 被约束在圆 C 内或上：(x1)^2 + (x2)^2 =1。假设我们从原点 (0.0) 开始。如果我们沿着梯度方向（蓝色箭头）(w1,w2) 前进，我们将在蓝色箭头与圆相交的地方获得函数的最大值。该交点坐标为 c*(w1,w2)，且 c^2(w1^2 + w2^2) = 1，其中 c 是一个标量系数。c 很容易求解为 c= 1 / sqrt(w1^2 + w2^2)。然后在交点处我们有 x1=w1/sqrt(w1^2 + w2^2) 和 x2=w2/sqrt(w1^2 + w2^2)，这就是我们寻找的解。这可以同样扩展到100维的情况。
你可能会问为什么我们从原点开始，而不是从圆上的其他点开始。请注意，红色线条与梯度向量垂直，函数沿该线条恒定。画出那条 (u1,u2) 线，保持其方向不变，任意地与圆 C 相交。然后在该线上选择任意一点，使其位于圆内。在 (u1,u2) 线上，无论你在哪里，你开始的函数 g 的值是相同的。然后当你沿着 (w1,w2) 方向前进时，在圆内走过的最长路径总是通过原点，这意味着你增加函数 g 的最多的路径。
