训练和验证准确率差异极大的深度学习模型 Python

我在训练一个深度学习模型时得到了非常低的准确率。我使用了L2正则化来防止过拟合并提高准确率,但这并没有解决问题。这种非常低的准确率的原因是什么?我该如何解决这个问题?

模型的训练准确率几乎完美(>90%),而验证准确率却非常低(<51%)(如下所示)

Epoch 1/152601/2601 - 38s - loss: 1.6510 - accuracy: 0.5125 - val_loss: 1.6108 - val_accuracy: 0.4706Epoch 2/152601/2601 - 38s - loss: 1.1733 - accuracy: 0.7009 - val_loss: 1.5660 - val_accuracy: 0.4971Epoch 3/152601/2601 - 38s - loss: 0.9169 - accuracy: 0.8147 - val_loss: 1.6223 - val_accuracy: 0.4948Epoch 4/152601/2601 - 38s - loss: 0.7820 - accuracy: 0.8551 - val_loss: 1.7773 - val_accuracy: 0.4683Epoch 5/152601/2601 - 38s - loss: 0.6539 - accuracy: 0.8989 - val_loss: 1.7968 - val_accuracy: 0.4937Epoch 6/152601/2601 - 38s - loss: 0.5691 - accuracy: 0.9204 - val_loss: 1.8743 - val_accuracy: 0.4844Epoch 7/152601/2601 - 38s - loss: 0.5090 - accuracy: 0.9327 - val_loss: 1.9348 - val_accuracy: 0.5029Epoch 8/152601/2601 - 40s - loss: 0.4465 - accuracy: 0.9500 - val_loss: 1.9566 - val_accuracy: 0.4787Epoch 9/152601/2601 - 38s - loss: 0.3931 - accuracy: 0.9596 - val_loss: 2.0824 - val_accuracy: 0.4764Epoch 10/152601/2601 - 41s - loss: 0.3786 - accuracy: 0.9596 - val_loss: 2.1185 - val_accuracy: 0.4925Epoch 11/152601/2601 - 38s - loss: 0.3471 - accuracy: 0.9604 - val_loss: 2.1972 - val_accuracy: 0.4879Epoch 12/152601/2601 - 38s - loss: 0.3169 - accuracy: 0.9669 - val_loss: 2.1091 - val_accuracy: 0.4948Epoch 13/152601/2601 - 38s - loss: 0.3018 - accuracy: 0.9685 - val_loss: 2.2073 - val_accuracy: 0.5006Epoch 14/152601/2601 - 38s - loss: 0.2629 - accuracy: 0.9746 - val_loss: 2.2086 - val_accuracy: 0.4971Epoch 15/152601/2601 - 38s - loss: 0.2700 - accuracy: 0.9650 - val_loss: 2.2178 - val_accuracy: 0.4879

我尝试增加了训练轮数,这只会提高模型的训练准确率并降低验证准确率。

关于如何克服这个问题的建议有哪些?

我的代码:

def createModel():    input_shape=(11, 3840,1)    model = Sequential()    #C1    model.add(Conv2D(16, (5, 5), strides=( 2, 2), padding='same',activation='relu', input_shape=input_shape))    model.add(keras.layers.MaxPooling2D(pool_size=( 2, 2),  padding='same'))    model.add(BatchNormalization())    #C2    model.add(Conv2D(32, ( 3, 3), strides=(1,1), padding='same',  activation='relu'))    model.add(keras.layers.MaxPooling2D(pool_size=(2, 2), padding='same'))    model.add(BatchNormalization())         #C3    model.add(Conv2D(64, (3, 3), strides=( 1,1), padding='same',  activation='relu'))    model.add(keras.layers.MaxPooling2D(pool_size=(2, 2), padding='same'))    model.add(BatchNormalization())    model.add(Dense(64, input_dim=64,kernel_regularizer=regularizers.l2(0.01)))        model.add(Flatten())    model.add(Dropout(0.5))    model.add(Dense(256, activation='sigmoid'))    model.add(Dropout(0.5))    model.add(Dense(2, activation='softmax'))        opt_adam = keras.optimizers.Adam(lr=0.0001, beta_1=0.9, beta_2=0.999, epsilon=1e-08, decay=0.0)    model.compile(loss='categorical_crossentropy', optimizer=opt_adam, metrics=['accuracy'])     return model
def getFilesPathWithoutSeizure(indexSeizure, indexPat):    filesPath=[]    print(indexSeizure)    print(indexPat)    for i in range(0, nSeizure):        if(i==indexSeizure):            filesPath.extend(interictalSpectograms[i])            filesPath.extend(preictalSpectograms[i])    shuffle(filesPath)    return filesPathdef generate_arrays_for_training(indexPat, paths, start=0, end=100):    while True:        from_=int(len(paths)/100*start)        to_=int(len(paths)/100*end)        for i in range(from_, int(to_)):            f=paths[i]            x = np.load(PathSpectogramFolder+f)            x = np.expand_dims(np.expand_dims(x, axis=0), axis = 0)            x = x.transpose(0, 2, 3, 1)            if('P' in f):                y = np.repeat([[0,1]],x.shape[0], axis=0)            else:                y =np.repeat([[1,0]],x.shape[0], axis=0)            yield(x,y)filesPath=getFilesPathWithoutSeizure(i, indexPat)history=model.fit_generator(generate_arrays_for_training(indexPat, filesPath, end=75),#It take the first 75%                                validation_data=generate_arrays_for_training(indexPat, filesPath, start=75), #It take the last 25%                                steps_per_epoch=int((len(filesPath)-int(len(filesPath)/100*25))),                                validation_steps=int((len(filesPath)-int(len(filesPath)/100*75))),                                verbose=2,class_weight = {0:1, 1:1},                                epochs=15, max_queue_size=2, shuffle=True)

回答:

您似乎在getFilesPathWithoutSeizure()函数中实现了洗牌功能,不过您可以通过多次打印文件名来验证洗牌是否真正起作用了。

filesPath=getFilesPathWithoutSeizure(i, indexPat)i是否得到了更新?

根据您的代码if(i==indexSeizure):getFilesPathWithoutSeizure方法中,当indexSeizure等于for循环的计数器(i)时,只会返回1个文件

如果您在调用函数时没有更改传递的i参数,这可能意味着只有1个文件被返回到filePath变量中,并且您的整个训练过程是在3467个文件的75%之外的1个输入数据上完成的。

在确认洗牌功能正常工作并且您的函数调用确实将所有数据插入到filePath变量中后,如果问题仍然没有解决,请尝试以下方法:

数据增强可以通过应用随机但现实的变换(如图像旋转、剪切、水平和垂直翻转、缩放、去中心化等)来增加数据集的多样性,从而帮助解决过拟合问题。

但更重要的是,您需要手动查看数据并了解训练数据中的相似性。

另一个选择是获取更多且更具多样性的数据进行训练。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注