在使用 LabelPropagation 时，我经常会遇到这个警告（在我看来这应该是一个错误，因为它完全导致了传播的失败）：

/usr/local/lib/python3.5/dist-packages/sklearn/semi_supervised/label_propagation.py:279: RuntimeWarning: invalid value encountered in true_divide self.label_distributions_ /= normalizer

经过几次尝试使用 RBF 核后，我发现参数 gamma 会产生影响。

编辑：

问题出自 这些行：

        if self._variant == 'propagation':            normalizer = np.sum(                self.label_distributions_, axis=1)[:, np.newaxis]            self.label_distributions_ /= normalizer

我不明白为什么 label_distributions_ 会全是零，尤其是当它的定义是：

self.label_distributions_ = safe_sparse_dot(graph_matrix, self.label_distributions_)

Gamma 确实对 graph_matrix 有影响（因为 graph_matrix 是调用核函数的 _build_graph() 的结果）。好的。但还是有问题

旧帖子（编辑前）

我提醒您，图的权重是如何为传播计算的：W = exp(-gamma * D)，D 是数据集中所有点之间的成对距离矩阵。

问题在于：np.exp(x) 如果 x 非常小会返回 0.0。
假设我们有两个点 i 和 j，使得 dist(i, j) = 10。

>>> np.exp(np.asarray(-10*40, dtype=float)) # gamma = 40 => 正常1.9151695967140057e-174>>> np.exp(np.asarray(-10*120, dtype=float)) # gamma = 120 => 不正常0.0

实际上，我并不是手动设置 gamma，而是使用 这篇论文（第2.4节）中描述的方法。

那么，如何避免这种除零错误以获得正确的传播？

我能想到的唯一方法是在每个维度上对数据集进行归一化，但这样我们会失去数据集的一些几何/拓扑属性（例如，一个2×10的矩形变成一个1×1的正方形）

可复现的示例：

在这个例子中，情况更糟：即使 gamma = 20 也会失败。

In [11]: from sklearn.semi_supervised.label_propagation import LabelPropagationIn [12]: import numpy as npIn [13]: X = np.array([[0, 0], [0, 10]])In [14]: Y = [0, -1]In [15]: LabelPropagation(kernel='rbf', tol=0.01, gamma=20).fit(X, Y)/usr/local/lib/python3.5/dist-packages/sklearn/semi_supervised/label_propagation.py:279: RuntimeWarning: invalid value encountered in true_divide  self.label_distributions_ /= normalizer/usr/local/lib/python3.5/dist-packages/sklearn/semi_supervised/label_propagation.py:290: ConvergenceWarning: max_iter=1000 was reached without convergence.  category=ConvergenceWarningOut[15]: LabelPropagation(alpha=None, gamma=20, kernel='rbf', max_iter=1000, n_jobs=1,         n_neighbors=7, tol=0.01)In [16]: LabelPropagation(kernel='rbf', tol=0.01, gamma=2).fit(X, Y)Out[16]: LabelPropagation(alpha=None, gamma=2, kernel='rbf', max_iter=1000, n_jobs=1,         n_neighbors=7, tol=0.01)In [17]: 

回答：

基本上，你是在做一个 softmax 函数，对吗？

防止 softmax 溢出/下溢的通用方法是（来自 这里）

# 不要这样做 . . . def softmax(x, axis = 0):    return np.exp(x) / np.sum(np.exp(x), axis = axis, keepdims = True)# 这样做def softmax(x, axis = 0):    e_x = np.exp(x - np.max(x, axis = axis, keepdims = True))    return e_x / e_x.sum(axis, keepdims = True)

这将 e_x 限制在 0 和 1 之间，并确保 e_x 的一个值始终为 1（即 np.argmax(x) 元素）。这可以防止溢出和下溢（当 np.exp(x.max()) 超出或低于 float64 能处理的范围时）。

在这种情况下，由于你无法更改算法，我建议你对输入 D 进行处理，生成 D_ = D - D.min()，这在数值上应该与上述方法等效，因为 W.max() 应该等于 -gamma * D.min()（因为你只是翻转了符号）。然后根据 D_ 进行你的算法处理

编辑：

正如 @[隐藏人名] 下面推荐的，你可以基于 sklearn 的实现构建一个“安全”的 rbf 核 这里：

def rbf_kernel_safe(X, Y=None, gamma=None):       X, Y = sklearn.metrics.pairwise.check_pairwise_arrays(X, Y)       if gamma is None:           gamma = 1.0 / X.shape[1]       K = sklearn.metrics.pairwise.euclidean_distances(X, Y, squared=True)       K *= -gamma       K -= K.max()      np.exp(K, K)    # 就地指数化 K       return K 

然后在你的传播中使用它

LabelPropagation(kernel = rbf_kernel_safe, tol = 0.01, gamma = 20).fit(X, Y)

不幸的是，我只有 v0.18 版本，它不接受用户定义的核函数用于 LabelPropagation，所以我无法测试它。

编辑2：

检查你为什么使用如此大的 gamma 值的源代码，让我怀疑你是否在使用 gamma = D.min()/3，这是不正确的。定义应该是 sigma = D.min()/3，而在 w 中 sigma 的定义是

w = exp(-d**2/sigma**2)  # 方程（1）

这将使正确的 gamma 值为 1/sigma**2 或 9/D.min()**2