我查看了经典的word2vec源码，如果我理解正确的话，在多线程训练神经网络时（针对矩阵syn0, syn1, syn1neg）并没有数据访问同步。这是正常的训练做法，还是一个bug？
回答：
可能出乎意料的是，这其实是正常的。关于这一点的开创性工作是2011年的’Hogwild’论文：
其摘要如下：
随机梯度下降（SGD）是一种在各种机器学习任务中能够达到最先进性能的流行算法。最近几位研究者提出了并行化SGD的方案，但所有这些方案都需要破坏性能的内存锁定和同步。本文旨在通过新的理论分析、算法和实现，展示SGD可以无需任何锁定地实现。我们提出了一种名为Hogwild的更新方案，允许处理器访问共享内存，并可能覆盖彼此的工作。我们展示了当相关优化问题是稀疏的，即大多数梯度更新只修改决策变量的小部分时，Hogwild能够达到近乎最优的收敛速度。我们通过实验证明，Hogwild的性能比使用锁定的替代方案高出一个数量级。
事实证明，SGD受到同步访问的影响比线程覆盖彼此工作的影响更大……而且一些结果甚至似乎暗示，在实践中，额外的“干扰”可能对优化进展有净收益。
