我有一个涉及多种语言的文本分类任务。我希望创建一个从文本中提取年龄的特征,年龄的分类包括:18-24
、25-34
、35-49
和50-xx
。我的语料库只有推文。我已经尝试使用所有推文,但性能非常低(0.66)。有什么方法可以处理这个任务吗?提前感谢。
回答:
由于这仍然是一个研究任务,我建议查看几篇科学论文(链接和下面的摘要主要来自我们论文的“相关工作”部分 – 遗憾的是,原文是俄文,所以我对谷歌翻译做了一些编辑)。
因此,请查看这些按年份标记的作品:2009、2010、2011、2013、2014。
总结如下:你应该寻找或创建带标签的语料库,并使用以下特征进行监督机器学习:
- 文本特征:单词和字符的n-gram,
- 风格特征:词性、俚语、平均句子长度、标点符号、首字母缩写、表情符号等,
- 社交网络特征:用户的好友数量、用户页面上显示的帖子数量、总帖子数量、用户每篇帖子的平均评论数量。