我们有大量的收据(超过2万张),希望对这些收据进行分类。一个收据可以属于一个或多个类别。目前我们有超过500个类别。
例如
- 如果收据是关于支付互联网费用的,那么我们的类别是“互联网服务”,并且收据中包含ISP信息和支付信息。
- 如果收据是关于外出午餐的,那么我们的类别是“食品和饮料”,并且收据中包含餐厅名称、食品信息和金额。
- 如果收据是关于支付出租车费用的,那么我们的类别是“交通”,并且收据中包含出租车公司信息、车辆、司机、位置信息和金额。
除了我在上述例子中提到的类别外,我们还有税务类别,大多数收据都属于这个类别。因此,每张收据可以有一个或多个类别。
为了猜测这些类别,我们采用了多标签分类的解决方案。目前,我们将使用收据的全文作为训练数据,结合我们已有的收据文本和类别进行模型训练。
希望能验证我们解决这个问题的思路是否正确,期待这里的专家们提出宝贵意见。
回答:
根据您的解释,您所解决的问题是多类分类,而不是基于您的例子所示的多标签分类。
如果每张收据只映射到多个可能类别中的一个类别,那么它是多类分类。
如果每张收据可以映射到多个可能类别中的一个或多个类别,那么它是多标签分类。
有关更多解释以及了解sklearn中可用于解决这些问题的算法,请查看这里。
有关处理文本数据的基本步骤,请阅读这里
编辑:
您可以为每张收据建立一个单独的模型来预测税务类别。因为构建多个多类模型比构建单一的多标签模型相对容易。