在这篇文章中，神经网络是在线训练的——输入是在训练过程中选择的：

这可以通过从一个小批次中选择难的正/负样本来实现。

谁能详细解释一下在线训练？

回答：

在线学习描述的是一次训练一个输入数据点，或一次训练一个小批次。通常，在线学习被使用是因为数据是以流的形式传入，或者因为数据量太大无法一次性全部存入内存。

简单地一次训练一个例子通常需要更多的步骤才能达到与离线训练相同的准确度，因为你无法在每个步骤中针对整个数据集优化你的损失函数。

然而，你链接的论文使用在线学习来智能地一次选择几个训练例子，以加速模型的收敛。他们的方法试图选择当前对模型来说最难的例子，以便模型在每个训练步骤中都能取得最大的改进。