我正在尝试创建一个模仿我游戏行为的机器人。游戏是实时的。我可以访问游戏的内部状态。玩家可以执行一组动作。

基于游戏状态实现一个if/then决策树机器人很容易做到，但它并不能产生一个真实的人类玩家。

我认为使用机器学习和神经网络可以解决这个问题。我的初始方法是每100毫秒记录一次游戏状态和我的动作。我将一系列游戏状态和我的动作输入到一个LSTM中，并尝试预测接下来的100毫秒应该执行什么动作。问题在于95%以上的时间，我（玩家）处于空闲状态，没有向游戏发送任何输入。因此，训练的结果是网络预测在一系列游戏状态之后的下一个动作应该是空闲/无动作。

我考虑使用另一种方法，只在玩家发送输入时记录游戏状态。这样网络就不会预测玩家应该处于空闲状态。这可能会错过玩家不发送输入时的游戏状态中可能至关重要的信息。

对此有何建议？

回答：

你可以采取的另一种方法是使用成本函数权重来使每个动作（如空闲和其他动作）处于同等地位。这里的问题可能是你有一个不平衡的数据集（在标签方面），例如，你可能有10个“空闲”标签/动作对应一个“跳跃”标签/动作；这反过来会推动神经网络选择占主导地位的标签。

在这种情况下，你可以将交叉熵的类别权重设置为[1 10]，即与每个标签的频率成反比。参见https://www.tensorflow.org/api_docs/python/tf/losses/softmax_cross_entropy