我正在进行一个分类任务，我们正在构建模型来检测文本片段中存在的实体的类型（即注释）。这些模型可以使用一个数据集来构建，其中每个实例由三个独立的文本变量表示：

• 前文: 注释前的文档文本。
• 注释: 我们希望检测实体类型的文档片段。如果不存在实体，所有实体类型列（isPerson, isOrganization, isTime）都标记为0
• 后文: 注释后的文档文本。

数据集1：文本片段中的实体类型分类。

preContext  | annotation       | postContext | isOrganization | isPerson | isTime ....        | on July 12, 2011 | ....        | 0              | 0        | 1 With over 8 | million invested | in Chrysler | 0              | 0        | 0

数据集2：边界检测 – “实体开始”

在第一个例子中，前文和文本之间的过渡标志着一个组织类型实体的开始。在第二个例子中，前文和文本之间的过渡处没有实体存在，因此所有依赖变量列都被标记为零。

preContext          | text    | isStartOfOrganization | isStartOfPerson | isStartOfTimePrivate equity firm | Westbridge Capital could exit part or all of its stake in Hyderabad-based technology firm.    | 1 | 0 | 0

我一直在使用基本的NLP技术，如TF/IDF、N-grams、分词器、词干提取器、词性标注器、停用词列表来解决上述问题。但我现在真的想尝试一些我之前没有尝试过的新技术。这是我的问题，我无法找到任何有效的技术。如果你能给我一些建议，那就太好了——唯一能取得显著进展的方法就是开始跳出框框思考！你能建议一些解决上述问题的新的技术吗？

回答：

命名实体识别是典型的序列标注任务之一。通常的做法，你已经接近但略有不同，是为句子中的每个词附加一个标签。类似于以下内容：

With/NONE over/NONE eight/NONE million/NONE invested/NONE in/NONE Chrysler/BEGIN-COMPANY

On/NONE Tuesday/NONE, Mr/BEGIN-PERSON X/PERSON, CEO/NONE of/NONE Technology/BEGIN-COMPANY Products/COMPANY Inc/COMPANY, said/NONE …

我认为使用单独的开始标签是很常见的（BEGIN-COMPANY vs COMPANY），因为它有助于学习从NONE到某个类别的过渡。你可以尝试这两种方法。

然后，你不希望将这视为一系列独立的决策（分类），因为你所做的决策是相互依赖的。相反，使用特定的序列标注模型。如果你有工具包（有很多可用的），最通用且最容易上手的是条件随机场，因为你可以为每个词定义任意特征函数，而无需担心分布假设。常见的特征包括词ID、前一个标签ID、词是否大写、词是否出现在各种专有名词列表中等。然后，你可以从标记数据中学习模型，并将其应用于新的文本。