我正在使用一个简单的两层网络,而不是密集连接,我想“杀死”70%的连接。
在我的研究中,有人建议我将权重变量乘以一个由零和一组成的数组,但如果这些权重最初为零,如何确保它们不会被更新呢?
回答:
你可以使用tf.nn.dropout
方法。
Dropout会随机“丢弃”(或“杀死”)节点之间的连接。
假设你想杀死70%的连接,那么你可以这样做,
...fc_0 = tf.nn.relu(tf.matmul(x, W_fc0) + b_fc0)fc_0 = tf.nn.dropout(fc_0, keep_prob=0.3)fc_1 = tf.nn.relu(tf.matmul(fc_0, W_fc1) + b_fc1)fc_1 = tf.nn.dropout(fc_1, keep_prob=0.3)...