我试图为一个通用数据集使用自定义转换器创建一个Pipeline。这里是我的第一个转换器。给定一个列名，它会将该日期时间列进一步分解成更多的列。
class DatePartTransformer: def __init__(self,fldname): self.fldname = fldname def fit(self): return self def transform(self): return self def fit_transform(self,df, drop=True, time=False, errors='raise'): fld = df[self.fldname] fld_dtype = fld.dtype if isinstance(fld_dtype, pd.core.dtypes.dtypes.DatetimeTZDtype): fld_dtype = np.datetime64 if not np.issubdtype(fld_dtype, np.datetime64): df[self.fldname] = fld = pd.to_datetime(fld, infer_datetime_format=True, errors=errors) targ_pre = re.sub('[Dd]ate$', '', self.fldname) attr = ['Year', 'Month', 'Week', 'Day', 'Dayofweek', 'Dayofyear', 'Is_month_end', 'Is_month_start', 'Is_quarter_end', 'Is_quarter_start', 'Is_year_end', 'Is_year_start'] if time: attr = attr + ['Hour', 'Minute', 'Second'] for n in attr: df[targ_pre + n] = getattr(fld.dt, n.lower()) df[targ_pre + 'Elapsed'] = fld.astype(np.int64) // 10 ** 9 if drop: df.drop(self.fldname, axis=1, inplace=True) return df这是我的第二个转换器
from pandas.api.types import is_string_dtypeclass TrainCats: def __init__(self): pass def fit(self): return self def transform(self): return self def fit_transform(self,df): for n,c in df.items(): if is_string_dtype(c): df[n] = c.astype('category').cat.as_ordered() return df我计划编写更多转换器。
这是我的pipeline。
pipeline = Pipeline([ ('imputer',DatePartTransformer('date')), ('cats',TrainCats())])df = pipeline.fit_transform(df_raw)当我运行pipeline时，我得到了这个错误
TypeError Traceback (most recent call last)<ipython-input-36-36154d1b45b5> in <module> 4 ]) 5 ----> 6 df = pipeline.fit_transform(df_raw)c:\users\vishak~1\desktop\env\ml\lib\site-packages\sklearn\pipeline.py in fit_transform(self, X, y, **fit_params) 391 return Xt 392 if hasattr(last_step, 'fit_transform'):--> 393 return last_step.fit_transform(Xt, y, **fit_params) 394 else: 395 return last_step.fit(Xt, y, **fit_params).transform(Xt)TypeError: fit_transform() takes 2 positional arguments but 3 were given@的书说这就是pipeline的工作方式。我找不到我的错误所在。
回答：
如果你查看Pipeline的源代码，你会发现它要求每个转换器在使用fit_transform方法时必须接受2个位置参数，即X和y（除了self）。这是那行代码：
return last_step.fit_transform(Xt, y, **fit_params)因此，你的转换器的fit_transform方法声明必须有2个位置参数。要修复它，你只需要在你的TrainCats的fit_transform方法中提供第二个虚拟参数，像这样：
def fit_transform(self,df, y=None): for n,c in df.items(): if is_string_dtype(c): df[n] = c.astype('category').cat.as_ordered() return df这将减少你的错误，但还有另一个漏洞。尽管你的DatePartTransformer中的fit_transform接受多于1个参数，由于pipeline的假设，你的drop参数将被None或其他转换器的实际y覆盖。如果你只期望处理输入而不是标签，你也需要在DatePartTransformer中添加这个虚拟参数：
def fit_transform(self,df, y=None, drop=True, time=False, errors='raise'): ...