这是我编写的代码：假新闻检测Google Colab笔记本

我使用的数据集：fake_or_real_news

Glove嵌入层：glove.twitter.27B.200d

我一直在尝试使用PyGAD，这是一个用于机器学习的遗传算法的Python库。

我希望实现的是假新闻检测。我所做的工作是预处理文章，并将它们转换为向量。我使用Glove作为神经网络中的嵌入层。我尝试过不使用GA直接训练NN模型，结果很好。然后我按照教程将NN应用到PyGAD GA中：如何使用PyGAD的遗传算法训练Keras模型，过程似乎运行正常，但即使经过200代，适应度得分也没有任何提高。我尝试更改了突变方法和其他一些超参数，但似乎没有改变结果。在构建PyGAD GA模型的过程中我做错了什么吗？大部分PyGAD模型设置与上述教程中的示例相同。

为了具体说明我遇到的问题：以下是我使用的主要PyGAD代码：

训练输入(X_train)：

array([[ 4981,  2484, 22458, ...,  1019,   135,   892],
       [ 7075,   189, 26439, ...,  4982,    43,     2],
       [ 6168,   335,     2, ...,    73,    27,    73],
       ...,
       [  374,    10,   162, ...,   736,  1744,   484],
       [  500,   118,     2, ...,   348,  2890,  5689],
       [ 8194,  2404,   117, ...,   357,  6332,   186]], dtype=int32)shape: (3753, 50)

训练输出(y_train)：

array([[1., 0.],
       [0., 1.],
       [0., 1.],
       ...,
       [0., 1.],
       [1., 0.],
       [0., 1.]], dtype=float32)shape:  (3753, )

Python代码：

这是我在ga_instance.run()之后得到的结果：

Generation = 1
Fitness    = 1.4091019376092528
Generation = 2
Fitness    = 1.4091019376092528
...
Generation = 200
Fitness    = 1.4091019376092528

预测结果：

Ground Truth:
array([[1., 0.],
       [0., 1.],
       [0., 1.],
       ...,
       [0., 1.],
       [1., 0.],
       [0., 1.]], dtype=float32)
Without GA:
Predictions : [[0.9889404  0.00634338]
               [0.03020517 0.9684899 ]
               [0.28220823 0.76921546]
               ...
               [0.08805525 0.92023355]
               [0.9115724  0.08401334]
               [0.15908712 0.8055146 ]]
With PyGAD GA:
Predictions : [[0.4274468  0.47953305]
               [0.40091008 0.38568377]
               [0.3937818  0.41261795]
               ...
               [0.3366004  0.43762493]
               [0.43253532 0.4112898 ]
               [0.40255183 0.4059006 ]]

经过200代后，适应度得分保持不变，最终模型准确率低于50%，意味着它比随机猜测还差。我猜我的模型权重根本没有被训练。当我使用二元交叉熵作为损失函数（这也是GA适应度函数中使用的）训练同一个NN模型时，它有效。我可以看到每轮的准确率都在提高，最终准确率超过90%；然而，当我尝试使用PyGAD库用遗传算法训练模型时，它不起作用。问题出在NN模型上还是我使用的适应度函数上？我尝试更改了模型结构以及PyGAD库中可以使用的某些超参数，例如突变类型或交配的父代数量，但似乎对我不起作用。

编辑：我尝试创建了nn模型，并在没有训练的情况下进行了预测。然后我运行了ga_instance.run()代码用ga训练模型（适应度仍然没有提高），然后用那个所谓的训练模型进行了预测，与没有ga训练的预测输出相同，这意味着在ga过程中没有找到更好的预测。为什么会这样？

我打印了每一代ga解决方案的适应度，我可以看到每一代都产生了一组不同的适应度得分（每一代的适应度得分都有很小的提高），这意味着ga确实产生了不同的输出，但它们比模型的初始权重差很多。即使经过很多代，也没有产生比初始权重更好的解决方案。这是否意味着我只需要更多的代（比如几千代）来获得更好的解决方案？还是我选择的适应度函数有什么问题，使得改进进度如此缓慢？

回答：

你的模型有大量的参数（超过6.1M）。仅嵌入层本身就有6M。对于这样的参数数量，遗传算法预计需要很长时间来训练模型。这并不意味着你犯了错误。我之前尝试过处理一个巨大的CNN，确实有进展，但非常小。

根据你的机器能力，你应该尽可能增加解决方案的数量。还应该尽可能使用更多的代数。

感谢使用PyGAD！