我正在按照这个教程（https://www.tensorflow.org/agents/tutorials/1_dqn_tutorial?hl=en）学习如何使用TF Agents实现深度Q网络算法来解决使用强化学习的Cart Pole问题。
我创建了q_net：
fc_layer_params = (100,)q_net = q_network.QNetwork( train_env.observation_spec(), train_env.action_spec(), fc_layer_params=fc_layer_params)当我使用q_net.summary()时，它显示网络有500个输入层：
Model: "QNetwork"_________________________________________________________________Layer (type) Output Shape Param # =================================================================EncodingNetwork (EncodingNet multiple 500 _________________________________________________________________dense_1 (Dense) multiple 202 =================================================================Total params: 702Trainable params: 702Non-trainable params: 0_________________________________________________________________time: 3.63 ms (started: 2021-01-16 13:44:09 +00:00)我想知道为什么输入层的数值是500，因为对于Cart Pole环境，我们的observation_spec和action_spec是这样的：
Observation Spec:BoundedArraySpec(shape=(4,), dtype=dtype('float32'), name='observation', minimum=[-4.8000002e+00 -3.4028235e+38 -4.1887903e-01 -3.4028235e+38], maximum=[4.8000002e+00 3.4028235e+38 4.1887903e-01 3.4028235e+38])Action Spec:BoundedTensorSpec(shape=(), dtype=tf.int64, name='action', minimum=array(0), maximum=array(1))time: 5.24 ms (started: 2021-01-16 13:48:27 +00:00)这个问题每个回合的最大时间步长是200，输入层不应该是200吗？
回答：
500是参数的数量。如果你有一个Dense层，具有4个输入节点和100个第一层节点，那么你有4×100个权重和100个偏置，总共500个参数。
进一步的解释在这里这里，他们给出了公式（相当于我上面的计算）
output_size * (input_size + 1) == number_parameters