我正在使用sci-kit learn的标签编码类，将一系列字符串列表编码成整数代码。例如：
[[a,b,c],[b,c,d],[c,f,z]...,[a,v,z]]]LabelEncoder已经实例化并使用标签名称进行过拟合。我尝试做的是遍历这些列表并转换每一个列表。
我的第一个解决方案是强力遍历列表。
for list in list_of_lists: label_encoder.transform(list)当数据规模达到数万时，速度变得极其缓慢。
我尝试将列表转换为Pandas数据框，并在数据集上应用Pandas的.map方法，但仍然非常慢。
有什么方法可以优化标签编码器的转换吗？我不确定为什么它会这么慢。
回答：
你可以尝试使用纯numpy来替代scikit-learn的循环，我相信这会更快。
如果你内部列表中的元素数量总是相同的（比如3个），你可以尝试以下方法：
1. 准备一些数据：
n=5xs = np.random.choice(list("qwertyuiopasdfghjklzxcvbnm"),3*n).reshape((-1,3))xsarray([['z', 'h', 'd'], ['g', 'k', 'y'], ['t', 'c', 'o'], ['f', 'b', 's'], ['x', 'n', 'z']], dtype='<U1')2. 编码
np.unique(xs, return_inverse=True)[1].reshape((-1,3))array([[13, 5, 2], [ 4, 6, 12], [10, 1, 8], [ 3, 0, 9], [11, 7, 13]])3. 计时
n = 1000000xs = np.random.choice(list("qwertyuiopasdfghjklzxcvbnm"),3*n).reshape((-1,3))%timeit np.unique(xs, return_inverse=True)[1].reshape((-1,3))849 ms ± 39.7 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)不到一秒钟…
如果你能展示你的完整代码，我们可以比较运行时间。
编辑：在编码和解码之间来回移动
由于@JCDJulian的评论（见下文），问题略有变化，我添加了一个代码片段，展示如何在数据处理的任何点使用dictionary进行编码/解码：
首先，如果你想进行编码，你需要dic：
labels = np.unique(xs, return_inverse=True)[1]dic = dict(zip(xs.flatten(),labels))编码过程本身是这样的：
ys = np.reshape([dic[v] for list in xs for v in list], (-1,3))ysarray([[13, 5, 2], [ 4, 6, 12], [10, 1, 8], [ 3, 0, 9], [11, 7, 13]])对于解码，你需要reverse_dic：
reverse_dic = dict(zip(labels, xs.flatten()))np.reshape([reverse_dic[v] for list in ys for v in list], (-1,3))array([['z', 'h', 'd'], ['g', 'k', 'y'], ['t', 'c', 'o'], ['f', 'b', 's'], ['x', 'n', 'z']], dtype='<U1')编辑2：随机形状数组
为了完整性，这里提供一个处理随机形状数组的解决方案
编码：
labels = np.unique(xs, return_inverse=True)[1]dic = dict(zip(xs.flatten(),labels))np.vectorize(dic.get)(xs)array([[13, 5, 2], [ 4, 6, 12], [10, 1, 8], [ 3, 0, 9], [11, 7, 13]])解码：
reverse_dic = dict(zip(labels, xs.flatten()))np.vectorize(reverse_dic.get)(ys)array([['z', 'h', 'd'], ['g', 'k', 'y'], ['t', 'c', 'o'], ['f', 'b', 's'], ['x', 'n', 'z']], dtype='<U1')请注意，数组的形状在代码中没有任何显示！
