我正在学习PyTorch的稀疏张量: https://pytorch.org/docs/stable/sparse.html
根据文档(https://pytorch.org/docs/stable/sparse.html):“Torch支持以COO(坐标)格式的稀疏张量,这种格式可以高效地存储和处理大多数元素为零的张量。”
使用稀疏张量代替常规的PyTorch张量是否是为了减少训练时间?
回答:
是的,但这是间接的。
稀疏张量可以降低计算的复杂度,从而减少训练和推理的时间。矩阵乘法的复杂度取决于矩阵中的元素数量,而稀疏矩阵乘法的复杂度则取决于非零元素的数量,由于稀疏性,这些非零元素的数量较少。