我正在开发的一个模型需要同时预测很多变量（>1000）。因此，我希望在网络的末端为每个输出设置一个小的神经网络。
为了做到这一点，我希望在Tensorflow框架内找到一种方法，在神经网络的两层之间创建一个稀疏的可训练连接。
连接矩阵中只有一小部分应该是可训练的：只有块对角线部分的参数是可训练的。
例如：
连接矩阵如下：
可训练的参数应该在1的位置上。
回答：
编辑评论是这样的：这是一个可训练的对象吗？
答案：不是。目前你不能使用稀疏矩阵并使其可训练。相反，你可以使用掩码矩阵（请看最后）。
但是如果你需要使用稀疏矩阵，你只需要使用tf.sparse.sparse_dense_matmul()或tf.sparse_tensor_to_dense()，让你的稀疏矩阵与密集矩阵交互。我从这里拿了一个简单的XOR例子，并用稀疏矩阵替换了密集矩阵：
#声明必要的模块import tensorflow as tfimport numpy as np"""一个简单的numpy实现的XOR门，用于理解反向传播算法"""x = tf.placeholder(tf.float32,shape = [4,2],name = "x")#声明一个输入x的占位符y = tf.placeholder(tf.float32,shape = [4,1],name = "y")#声明一个期望输出y的占位符m = np.shape(x)[0]#训练样本的数量n = np.shape(x)[1]#特征的数量hidden_s = 2 #隐藏层的节点数量l_r = 1#学习率初始化theta1 = tf.SparseTensor(indices=[[0, 0],[0, 1], [1, 1]], values=[0.1, 0.2, 0.1], dense_shape=[3, 2])#theta1 = tf.cast(tf.Variable(tf.random_normal([3,hidden_s]),name = "theta1"),tf.float64)theta2 = tf.cast(tf.Variable(tf.random_normal([hidden_s+1,1]),name = "theta2"),tf.float32)#进行前向传播a1 = tf.concat([np.c_[np.ones(x.shape[0])],x],1)#第一层的权重与第一层的输入相乘#z1 = tf.sparse_tensor_dense_matmul(theta1, a1)z1 = tf.matmul(a1,tf.sparse_tensor_to_dense(theta1))#第二层的输入是第一层的输出，通过激活函数后得到a2 = tf.concat([np.c_[np.ones(x.shape[0])],tf.sigmoid(z1)],1)#第二层的输入与权重相乘z3 = tf.matmul(a2,theta2)#输出通过激活函数得到最终的概率h3 = tf.sigmoid(z3)cost_func = -tf.reduce_sum(y*tf.log(h3)+(1-y)*tf.log(1-h3),axis = 1)#内置的tensorflow优化器，使用指定的学习率进行梯度下降optimiser = tf.train.GradientDescentOptimizer(learning_rate = l_r).minimize(cost_func)#设置必要的X和Y值来执行XOR操作X = [[0,0],[0,1],[1,0],[1,1]]Y = [[0],[1],[1],[0]]#初始化所有变量，创建一个会话并运行tensorflow会话init = tf.global_variables_initializer()sess = tf.Session()sess.run(init)#为每个迭代运行梯度下降for i in range(200): sess.run(optimiser, feed_dict = {x:X,y:Y})#使用feed_dict设置占位符的值 if i%100==0: print("Epoch:",i) print(sess.run(theta1))输出结果是：
Epoch: 0SparseTensorValue(indices=array([[0, 0], [0, 1], [1, 1]]), values=array([0.1, 0.2, 0.1], dtype=float32), dense_shape=array([3, 2]))Epoch: 100SparseTensorValue(indices=array([[0, 0], [0, 1], [1, 1]]), values=array([0.1, 0.2, 0.1], dtype=float32), dense_shape=array([3, 2]))所以唯一的方法是使用掩码矩阵。你可以通过乘法或tf.where来使用它
1) 乘法：你可以创建所需形状的掩码矩阵，并将其与你的权重矩阵相乘：
mask = tf.Variable([[1,0,0],[0,1,0],[0,0,1]],name ='mask', trainable=False)weight = tf.cast(tf.Variable(tf.random_normal([3,3])),tf.float32)desired_tensor = tf.matmul(weight, mask)2) tf.where
mask = tf.Variable([[1,0,0],[0,1,0],[0,0,1]],name ='mask', trainable=False)weight = tf.cast(tf.Variable(tf.random_normal([3,3])),tf.float32)desired_tensor = tf.where(mask > 0, tf.ones_like(weight), weight)希望这对你有帮助
你可以通过使用稀疏张量来实现这一点，如下所示：
SparseTensor(indices=[[0, 0], [1, 2]], values=[1, 2], dense_shape=[3, 4])输出结果是：
[[1, 0, 0, 0] [0, 0, 2, 0] [0, 0, 0, 0]]你可以在这里查找更多关于稀疏张量的文档：
https://www.tensorflow.org/api_docs/python/tf/sparse/SparseTensor
希望这对你有帮助！
