我创建了一个数据集,包含近几年制作的各种电影,参与电影制作的技术人员、电影类型、代表国家、时长、语言,以及电影所获的相应电影节奖项等信息。
这个数据集类似于这个,它是一个Excel文件。
我对根据电影的固有特征(不考虑情节)将电影多标签分类到电影节感兴趣。
我认为需要使用数字/向量来对数据进行多标签分类。但是,我不知道如何对名称(专有名词)和一些单个词进行向量化处理。
有没有其他方法可以使用上述数据实现我的多标签分类的目标?请帮助我找出方法。谢谢。
回答:
您的数据集是表格数据。为了能够将它传递给分类模型,您需要对表格数据进行向量化处理。
表格数据通常包括:
- 连续特征(例如:IMDb评分、时长)
- 分类特征(例如:您数据集中的其他所有特征)
表格数据的向量化处理只是将每个特征的向量表示进行连接。对于连续特征,您应该对数值进行归一化处理。对于分类特征,您应该对它们进行独热编码。
注意:在您的数据集中,有3个“文本类”特征:标题、导演和编剧:
- 标题:标题对每部电影都是独一无二的,因此模型无法从中学习任何东西,所以您应该从数据集中删除它。
- 导演和编剧:您应该将它们视为分类变量而不是文本。如果您使用文本向量化技术(词袋或TF-IDF)对它们进行编码,就意味着您假设像
Pedro
这样的词具有预测能力。Pedro Gonzalez-Rubio和Pedro Almodovar之间有共同点吗?如果有,也许是他们都讲西班牙语,但那我宁愿将此作为一个特征添加到您的模型中(例如:导演语言)