我需要使用Python的numpy库来实现随机梯度下降。为此，我得到了以下函数定义：
def compute_stoch_gradient(y, tx, w): """Compute a stochastic gradient for batch data."""def stochastic_gradient_descent( y, tx, initial_w, batch_size, max_epochs, gamma): """Stochastic gradient descent algorithm."""我还得到了以下辅助函数：
def batch_iter(y, tx, batch_size, num_batches=1, shuffle=True): """ Generate a minibatch iterator for a dataset. Takes as input two iterables (here the output desired values 'y' and the input data 'tx') Outputs an iterator which gives mini-batches of `batch_size` matching elements from `y` and `tx`. Data can be randomly shuffled to avoid ordering in the original data messing with the randomness of the minibatches. Example of use : for minibatch_y, minibatch_tx in batch_iter(y, tx, 32): <DO-SOMETHING> """ data_size = len(y) if shuffle: shuffle_indices = np.random.permutation(np.arange(data_size)) shuffled_y = y[shuffle_indices] shuffled_tx = tx[shuffle_indices] else: shuffled_y = y shuffled_tx = tx for batch_num in range(num_batches): start_index = batch_num * batch_size end_index = min((batch_num + 1) * batch_size, data_size) if start_index != end_index: yield shuffled_y[start_index:end_index], shuffled_tx[start_index:end_index]我实现了以下两个函数：
def compute_stoch_gradient(y, tx, w): """Compute a stochastic gradient for batch data.""" e = y - tx.dot(w) return (-1/y.shape[0])*tx.transpose().dot(e)def stochastic_gradient_descent(y, tx, initial_w, batch_size, max_epochs, gamma): """Stochastic gradient descent algorithm.""" ws = [initial_w] losses = [] w = initial_w for n_iter in range(max_epochs): for minibatch_y,minibatch_x in batch_iter(y,tx,batch_size): w = ws[n_iter] - gamma * compute_stoch_gradient(minibatch_y,minibatch_x,ws[n_iter]) ws.append(np.copy(w)) loss = y - tx.dot(w) losses.append(loss) return losses, ws我不确定迭代是否应该在range(max_epochs)内进行，还是在更大的范围内进行。我之所以这么说，是因为我读到“每次我们遍历整个数据集”就是一个epoch。所以我认为一个epoch包含不止一次迭代…
回答：
在典型的实现中，批量大小为B的mini-batch梯度下降应该从数据集中随机选择B个数据点，并根据这个子集上计算的梯度来更新权重。这个过程本身将持续多次，直到收敛或达到某个阈值最大迭代次数。B=1的mini-batch就是SGD，有时可能会有些噪声。
除了上述评论外，你可能还想调整批量大小和学习率（步长），因为它们对随机和mini-batch梯度下降的收敛速度有重要影响。
以下图表显示了这两个参数对使用SGD和逻辑回归进行亚马逊产品评论数据集的情感分析时收敛速度的影响，这是一门由华盛顿大学开设的Coursera机器学习-分类课程中的一个作业：
