我有一个包含佛罗里达州房地产数据的数据框架，其中包括单个公寓和建筑的数据：
'TRUE_SITE_CITY': 建筑所在的城市。变量：迈阿密，冒险乐园...；'CONDO_FLAG': 是否为公寓。变量：是/否；'BEDROOM_COUNT': 总卧室数量，变量：整数；'BUILDING_actual_AREA': 整个建筑或在仅有一个公寓或房子的情况下，公寓的面积。变量：整数；'FLOOR_COUNT': 建筑拥有的楼层数；'DOR_CODE_CUR': 建筑的类型。变量：分类；'UNIT_COUNT': 建筑中公寓或房子的数量。变量：整数；'YEAR_BUILT': 建筑或房子或公寓的建造年份：变量：分类；'public_transport_min_distance': 我已经计算了最近的公共交通站点；'Price': 我想要预测的变量。我已经进行了探索性数据分析，并删除了一些具有空值和错误的数据。同时，我也删除了具有异常值的数据。
价格列（目标列）的基本统计数据如下：
我检查了分类特征，每个特征都有足够的变量可以保留在模型中。
我已经创建了一个管道，用于对分类值进行独热编码，并对数值进行标准化。在其中，我包含了一个XGBOOST回归模型：
from xgboost import XGBRegressorfrom sklearn.model_selection import cross_val_scorefrom sklearn.model_selection import cross_validatefrom sklearn import metricsfrom sklearn import preprocessing, feature_extractionfrom sklearn.pipeline import Pipelinefrom sklearn import preprocessing, feature_extractionfrom sklearn.pipeline import make_pipeline, make_unionfrom mlxtend.feature_selection import ColumnSelectorfrom sklearn.preprocessing import StandardScalerfrom category_encoders import OneHotEncoderx_numeric = df_x[['BEDROOM_COUNT','BATHROOM_COUNT', 'HALF_BATHROOM_COUNT', 'FLOOR_COUNT','UNIT_COUNT','public_transport_min_distance','BUILDING_actual_AREA']]x_categorical = df_x[['TRUE_SITE_CITY','CONDO_FLAG','YEAR_BUILT']]categorical_col = x_categorical.columnsnumeric_col = x_numeric.columnsestimator_pipeline = Pipeline([ ('procesador', procesing_pipeline), ('estimador', estimator)])score2 = cross_validate(estimator_pipeline, X= df_x, y= df_y, scoring=scoring,return_train_score=False, cv=5,n_jobs=2)但是我得到了一个高错误。价格的平均值接近20万，而我得到的错误是：
我还使用RFE进行了特征选择，但同样得到了高错误。
我也使用RandomizedSearchCV运行了它
from sklearn.model_selection import RandomizedSearchCVparams = {"estimator__learning_rate" : [0.05, 0.10, 0.15, 0.20, 0.25, 0.30 ] , "estimator__max_depth" : [ 3, 4, 5, 6, 8, 10, 12, 15], "estimator__min_child_weight" : [ 1, 3, 5, 7 ], "estimator__gamma" : [ 0.0, 0.1, 0.2 , 0.3, 0.4 ], "estimator__colsample_bytree" : [ 0.3, 0.4, 0.5 , 0.7 ] }random_search = RandomizedSearchCV( estimator=estimator_pipeline, param_distributions=params, cv=5, refit=True, scoring="neg_mean_squared_error", n_jobs= 3, return_train_score=True, n_iter=50)但我得到的错误值相似。
我该怎么办？
回答：
我有一些看法和建议，希望能帮到你。
- 不要将YEAR_BUILT变量作为分类变量，而应将其作为数值变量，你也可以将此变量转换为描述建筑/公寓年龄的新变量，然后尝试不同的转换，
- 你可以尝试通过添加当前变量的不同转换（例如使用平方值）来增加独立变量的数量，
- 总的来说，考虑到你只有9个独立变量和一个大数据集，我会专注于创建新的潜在变量，
- 使用基于决策树方法的算法时，你不需要对数值变量进行标准化，
- 使用不同的提升算法时，你应该更专注于基础估计器（浅层决策树），
- 尝试不同的算法（例如简单的决策树或随机森林）来比较结果。
