如果我有一个三层神经网络，并且有3个输入样本及其对应的预期输出值，我如何确定所有边的权重值？

回答：

估计人工神经网络（ANN）的权重只不过是一个参数优化问题。一般来说，需要一个非线性优化器来完成这项工作。在这个过程中优化的大多数成本函数都是那些惩罚网络输出与期望输出之间不匹配的函数。

反向传播方法是一种优雅的基于梯度的优化方法，因为它能使人们估计隐藏层神经元输出的误差。从而使用误差梯度更新隐藏层的权重。

为了应对基于梯度方法中的局部最小值问题，通常的做法是使用多起点方法，这本质上是从一组不同的初始猜测重复估计过程。

请注意，进化方法如遗传算法也会在种群失去多样性时遭遇过早收敛的问题。

还要注意避免网络对训练数据的过拟合。你将无法对未见数据获得良好的泛化，这毕竟是函数逼近用于预测学习的目的。

除了这些之外，令人不安的是，训练样本的数量太少，无法提供关于你试图逼近的函数的太多信息。简单来说，如果ANN有大量的自由参数，那么训练数据必须提供足够的信息以允许对参数进行有意义的估计。3个样本对于任何实际的函数逼近任务来说都太少了。