我的数据中包含了一些分类特征和连续特征。将分类特征进行独热编码以寻找其与标签以及其他连续特征的相关性，这是一个好主意还是绝对不该做的？
回答：
在不进行独热编码的情况下，有方法可以计算分类变量的相关性系数。Cramer’s V统计量就是一种计算分类变量相关性的方法。计算方法如下。以下链接很有帮助。使用pandas计算Cramér的系数矩阵 对于其他具有连续值的变量，你可以使用pandas的cut函数进行分类。
import numpy as npimport pandas as pdimport scipy.stats as ssimport seaborn as snsprint('Pandas version:', pd.__version__)# Pandas version: 1.3.0tips = sns.load_dataset("tips")tips["total_bill_cut"] = pd.cut(tips["total_bill"], np.arange(0, 55, 5), include_lowest=True, right=False)def cramers_v(confusion_matrix): """ calculate Cramers V statistic for categorial-categorial association. uses correction from Bergsma and Wicher, Journal of the Korean Statistical Society 42 (2013): 323-328 """ chi2 = ss.chi2_contingency(confusion_matrix)[0] n = confusion_matrix.sum() phi2 = chi2 / n r, k = confusion_matrix.shape phi2corr = max(0, phi2 - ((k-1)*(r-1))/(n-1)) rcorr = r - ((r-1)**2)/(n-1) kcorr = k - ((k-1)**2)/(n-1) return np.sqrt(phi2corr / min((kcorr-1), (rcorr-1)))confusion_matrix = pd.crosstab(tips["day"], tips["time"])cramers_v(confusion_matrix.values)# Out[2]: 0.9386619340722221confusion_matrix = pd.crosstab(tips["total_bill_cut"], tips["time"])cramers_v(confusion_matrix.values)# Out[3]: 0.1649870749498837请注意，.as_matrix()在pandas自0.23.0版本起已被废弃，请使用.values代替
