我试图使用Tensorflow在我的图像数据上构建一个Softmax模型，灵感来自MNIST示例。当我尝试训练模型时，我发现损失没有减少。我还发现，在第一次迭代后，参数（W,b）的值没有变化。我需要在每次迭代后显式更新我的参数值吗？
代码如下：
######### 模型图 ###################with tf.device('/cpu:0'):x = tf.placeholder(tf.float32,shape = [None, IMAGE_HEIGHT, IMAGE_WIDTH, 3])y_ = tf.placeholder(tf.float32,shape = [None,35])########### 每个Softmax sigmoid函数的权重##############initialW = tf.truncated_normal([IMAGE_HEIGHT*IMAGE_WIDTH*3, 35], stddev=0.1)W = tf.Variable(initialW,trainable=True);b = tf.Variable(tf.zeros([35]),trainable=True)x_flat = tf.reshape(x, [-1,IMAGE_HEIGHT*IMAGE_WIDTH*3])y=tf.nn.softmax(tf.matmul(x_flat,W)+b)cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y+1e-10),reduction_indices=[1]))cross_entropy = tf.Print(cross_entropy, [cross_entropy], "cost") #向控制台打印TensorFlow的成本#train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)train_step = tf.train.AdamOptimizer(0.1).minimize(cross_entropy)#### 模型评估 ######### 评估模型is_predicted_correctly = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))accuracy = tf.reduce_mean(tf.cast(is_predicted_correctly,tf.float32))ops = tf.initialize_all_variables();### 运行图 ###### 初始化变量 ####config = tf.ConfigProto()config.log_device_placement=Truesess = tf.Session(config=config)sess.run(ops)###训练####for it in range(nIterations): labels, images = d.getNextBatch(nBatchSize) while(images is not None): sess.run(train_step, feed_dict = {x: images, y_ : labels}) labels, images = d.getNextBatch(nBatchSize)成本始终保持相似：
I tensorflow/core/kernels/logging_ops.cc:79] cost[22.211819]I tensorflow/core/kernels/logging_ops.cc:79] cost[22.095526]I tensorflow/core/kernels/logging_ops.cc:79] cost[22.676987]I tensorflow/core/kernels/logging_ops.cc:79] cost[22.563032]更新：批量大小代码
def getNextBatch(self,cnt): if(self.dataSet is None): return None, None; if(self.curr>=len(self.dataSet)): return None, None end = self.curr+cnt; if(end>len(self.dataSet)): end = len(self.dataSet) batchData = self.dataSet[self.curr:end] labelRaw = []; images = []; for dataPoint in batchData: try: image = self.getImageFromPath(dataPoint['image']); if(not self.isSizeCorrect(image)): print("Wrong image shape:"+str(image.shape)); raise ValueError("Wrong image shape"); labelRaw.append(dataPoint['label']); images.append(image); except (OSError, ValueError): k=0; labels = self.onEnc.transform((self.lEnc.transform(labelRaw)).reshape(-1,1)) self.curr = end return labels, np.array(images)def getImageFromPath(self,imageFile): img = misc.imread(imageFile) resizedImg = misc.imresize(img,(IMAGE_HEIGHT,IMAGE_WIDTH)) return resizedImg;回答：
我最终解决了我的问题。问题在于我的特征和权重的乘积很大（数万级别），导致Softmax中指数的值膨胀（想象一下e^30000）。
因此，我的梯度总是为零，因此参数没有更新。
我尝试了以下方法来解决这个问题：
- 归一化我的图像数据（像素值从0到255变为0到1）- 用非常小的值（约10e-3）初始化参数向量- 降低优化算法的学习率。这使得指数变小且梯度值不为零。最终能够训练模型。
