我刚开始学习深度学习。当涉及到梯度下降时，我发现自己陷入了困境。我知道如何实现批量梯度下降。我也了解批量、小批量和随机梯度下降的理论工作原理。但实在无法理解如何在代码中实现这些方法。

import numpy as npX = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])y = np.array([[0,1,1,0]]).Talpha,hidden_dim = (0.5,4)synapse_0 = 2*np.random.random((3,hidden_dim)) - 1synapse_1 = 2*np.random.random((hidden_dim,1)) - 1for j in xrange(60000):    layer_1 = 1/(1+np.exp(-(np.dot(X,synapse_0))))    layer_2 = 1/(1+np.exp(-(np.dot(layer_1,synapse_1))))    layer_2_delta = (layer_2 - y)*(layer_2*(1-layer_2))    layer_1_delta = layer_2_delta.dot(synapse_1.T) * (layer_1 * (1-layer_1))    synapse_1 -= (alpha * layer_1.T.dot(layer_2_delta))    synapse_0 -= (alpha * X.T.dot(layer_1_delta))

这是来自ANDREW TRASK博客的示例代码。它简短且易于理解。该代码实现了批量梯度下降，但我希望在这个示例中实现小批量和随机梯度下降。我该怎么做呢？我需要在这个代码中添加/修改什么才能分别实现小批量和随机梯度下降？您的帮助对我将非常有用。提前谢谢您。（我知道这个示例代码的样本很少，而我需要一个大型数据集来分成小批量。但我想知道如何实现它）

回答：

这个函数根据输入和目标返回小批量数据：

def iterate_minibatches(inputs, targets, batchsize, shuffle=False):    assert inputs.shape[0] == targets.shape[0]    if shuffle:        indices = np.arange(inputs.shape[0])        np.random.shuffle(indices)    for start_idx in range(0, inputs.shape[0] - batchsize + 1, batchsize):        if shuffle:            excerpt = indices[start_idx:start_idx + batchsize]        else:            excerpt = slice(start_idx, start_idx + batchsize)        yield inputs[excerpt], targets[excerpt]

以下是如何使用它进行训练的示例：

for n in xrange(n_epochs):    for batch in iterate_minibatches(X, Y, batch_size, shuffle=True):        x_batch, y_batch = batch        l_train, acc_train = f_train(x_batch, y_batch)    l_val, acc_val = f_val(Xt, Yt)    logging.info('epoch ' + str(n) + ' ,train_loss ' + str(l_train) + ' ,acc ' + str(acc_train) + ' ,val_loss ' + str(l_val) + ' ,acc ' + str(acc_val))

显然，您需要根据您使用的优化库（例如Lasagne, Keras）自己定义f_train, f_val等函数。