我手头有几百条推文,我想通过获取每个Twitter用户的真实姓名,并查看他们至少两条推文来将每个用户分类为男性或女性。我已经编写了程序来从他们的个人资料中获取每个人的真实姓名,现在我想对他们的推文文本进行分类,以更有力地确认用户是男性还是女性。我在网上查找了文本分类的例子,但不太确定从哪里开始。我还在这个链接中找到了一些非常有用的数据 Twitter Text With Gender Download. 关于如何将推文文本分类为由男性或女性撰写的,任何建议都将不胜感激!我现在有点碰壁了。
回答:
我没有其他确认为由男性或女性撰写的文本数据集来帮助训练分类器。
这对你来说是一个障碍。你需要使用这样的数据集进行监督学习,例如使用感知器学习器;或者你需要进行无监督学习,例如k-means聚类,并尝试找到你可以(某种程度上任意地)声明为男性或女性信号的聚类。在实践中,通过无监督方法区分性别几乎是不可能的,至少在没有其他现有信息、先验知识或你可以构建的特征映射的情况下是如此。