Caffe 已经实现了 reshape 层，但假设我想先将一个形状为 (1, n, k, p) 的blob重塑为 (1, a, b, k, p)，其中 n= a*b，然后再将其转置为形状 (1, b, a, k, p)，该如何实现这一操作？我知道我可以编写一个独立的Python层，并使用 numpy.reshape 和 numpy.transpose 来完成这些操作，但这样做效率不高，对吗？

回答：

transpose 和 reshape 是两种根本不同的操作：
reshape 仅改变blob的形状，不影响其内部结构（因此可以非常高效地执行）。而另一方面，transpose 会重新排列blob的数据。

让我们看一个简单的例子。
假设你有一个2×2的blob，其值为

[[0, 1], [2, 3]]

在内存中，这些值是以一维连续方式（行优先）存储的：

[0, 1, 2, 3]

如果你将blob reshape 为4×1

[[0], [1], [2], [3]]

内存中元素的底层排列不会改变。
但是，如果你对blob进行 transpose 操作得到

[[0, 2], [1, 3]]

底层排列也会变为

[0, 2, 1, 3]

因此，你不能使用 "Reshape" 层来 transpose 一个blob。

Caffe的SSD分支（由@人名开发）有一个"Permute" 层，它相当于 transpose。

关于性能的说明：
reshape 仅改变blob的头部（运行和空间复杂度为 O(1)），而 transpose 需要重新排列内存中的元素，因此需要 O(n) 的时间和空间。
更糟糕的是，如果你使用 numpy.transpose 来执行任务，这意味着你在CPU（主机内存）中进行 transpose 操作，从而在CPU和GPU内存之间增加了两个同步操作（同步GPU->CPU，在CPU中转置，同步CPU->GPU）。
因此，如果你别无选择只能进行 transpose（即 "Permute"），请确保你有GPU实现。