这个问题看似与广泛应用于推荐系统的普通矩阵分解任务大不相同。

我的问题描述如下：

给定一个密集矩阵 M

（大约55000*200，可能包含许多负元素，0.1< abs(M[i][j]) <1）

我需要找到两个矩阵 A(55000*1400) 和 B(1400*200)，使得：

AB=M

然而，我们对 A 有一些了解。我们有另一个矩阵 C，如果 C[i][j] = 0，那么 A[i][j] 必须为零，否则可以是任意值（C[i][j] = 1）。

在实践中，我使用机器学习来解决这个问题，我的损失函数是：

||(A*C)(逐元素乘积) x B – M ||(2)(L2范数)

我尝试了adagrad、momentum、adadelta和其他一些优化方法，但训练误差仍然很大，并且下降速度很慢（学习率 = 0.1）

UP1：实际上，我有一台32GB内存的机器，每个epoch只需要2分钟。我只在C中对应的元素标注为1时才对M中的元素进行分解。实际上，只有当C[i][j] = 1时，我才分解M[i][j]，并且在分解M[i][j]后，我会立即求解M[i][j]的梯度来更新A[i : ]和B[ : j]。所以，我使用的批次非常小——只包含一个元素。另外，我必须提到C是一个非常稀疏的矩阵。对于C中的每一行，只有2-3个元素被标注为1。

回答：

在与这个问题斗争了将近半个月后，我终于找到了答案：我应该更快地更新矩阵A，也就是说，以更小的步长更新参数。我原本每个epoch只更新A中的每个元素一次，远少于B。然而，当我修改代码让A以与B相同的速度更新后，惊喜发生了：效果非常好！

也许更小的步长会让SGD表现得更好？我在数学上并不真正相信这一点。