我有两个数据框，df1是猫的例子，df2是狗的例子。

我需要对这些数据框进行一些预处理，目前我是通过调用不同的函数来完成的。我希望使用scikit-learn流水线来完成这些操作。

其中一个函数是一个特殊的编码器函数，它会查看数据框中的一列并返回一个特殊值。我将这个函数重写成了一个类，像我在scikit-learn中看到的那样使用：

class Encoder(BaseEstimator, TransformerMixin):    def __init__(self):        self.values = []        super().__init__()    def fit(self, X, y=None):        return self    def encode(self,row):        result = []        for base in row:            result.append(bases[base])        self.values.append(result)    def transform(self, X):        assert isinstance(X, pd.DataFrame)        X["seq_new"].apply(self.encode)        return self.values

这样我现在将得到两个列表作为结果：

encode = Encoder()X1 = encode.transform(df1)X2 = encode.transform(df2)

下一步将是：

features = np.concatenate((X1, X1), axis=0)

接下来构建标签：

Y_dog = [[1]] * len(X1)Y_cat = [[0]] * len(X2)labels = np.concatenate((Y_dog, Y_cat), axis=0)

以及其他一些操作，然后我会使用model_selection.train_test_split()将数据分割成训练集和测试集。

我如何在scikit-learn流水线中调用所有这些函数？我找到的例子都是从训练/测试分割已经完成的地方开始的。

回答：

sklearn.pipeline.Pipeline的一个特点是每个步骤都需要实现fit和transform。例如，如果你确定你总是需要执行拼接步骤，并且你真的很想把它放入Pipeline中（虽然我不建议这样做，但这是我个人的看法），你需要创建一个带有适当的fit和transform方法的Concatenator类。

类似这样：

class Encoder(object):    def fit(self, X, *args, **kwargs):        return self    def transform(self, X):        return X*2class Concatenator(object):    def fit(self, X, *args, **kwargs):        return self    def transform(self, Xs):        return np.concatenate(Xs, axis=0)class MultiEncoder(Encoder):    def transform(self, Xs):        return list(map(super().transform, Xs))pipe = sklearn.pipeline.Pipeline((    ("encoder", MultiEncoder()),    ("concatenator", Concatenator())))pipe.fit_transform((    pd.DataFrame([[1,2],[3,4]]),     pd.DataFrame([[5,6],[7,8]])))