我刚开始学习机器学习，正在尝试编写一个线性回归算法，其中有一个分类特征 – 关键词。我的模型中可能有大约1000万个关键词。

根据这里给出的说明 – http://www.psychstat.missouristate.edu/multibook/mlt08m.html

似乎我应该将分类特征二元化。这是否意味着我将有23个特征变量（使用1000万级别的虚拟编码）？

这是处理这种情况的最佳方式吗？

回答：

是的。你将实际上拥有1000万个预测变量。如果你在进行回归/分类，除非你想将“相似”的关键词归类在一起以减少预测变量的数量，否则这是不可避免的。例如，如果keyword_1、keyword_2、keyword_3之间存在特定的关系，你可以将它们归类为一个关键词，依此类推。

为了减少这些庞大的关键词数量（1000万），你可以使用LASSO（http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.Lasso.html）和RIDGE（http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.Ridge.html）惩罚技术。基本思想是，这1000万个预测变量中的大多数在预测结果时并不重要，因此你希望在学习阶段的早期就移除它们，以提高结果的可解释性并避免过拟合。

严格来说，RIDGE是用来避免过拟合的，而LASSO是用来减少预测变量数量的。