我正在尝试理解Google的Smart Linkify背后的机器学习部分。文章中关于他们的generate candidate entities模型有如下描述。
给定的输入文本首先被分割成单词（基于空格分隔），然后生成所有可能的单词子序列，这些子序列的最大长度为15个单词（在我们的案例中），对于每个候选，评分神经网络会根据它是否代表一个有效的实体分配一个值（在0到1之间）：
接下来，删除那些重叠的生成实体，优先保留分数较高的实体，而舍弃与之冲突且分数较低的实体。
如果我理解正确的话，这个模型会尝试句子中的每个单词以及该单词最多15个单词的组合，对吗？
如何训练这样的模型？我假设这是监督学习，但不明白这样的数据如何标记。是否类似于NER，其中实体由字符位置指定？并且数据中只有两种实体entity和non-entity。
对于模型的输出，即所谓的“候选分数”，神经网络如何返回一个单一的数值（分数）？或者输出层只是一个单一节点？
我希望得到更详细的解释：
可能的单词子序列的特定最大长度是否意味着它考虑每个单词的前7个单词和后7个单词？- 当这是一个二元分类
entity和non-entity时，神经网络如何生成一个分数？还是他们指的是实体的概率分数？ - 如何训练一个二元NER？是否像其他NER一样，只是将所有实体替换为类型’entity’，然后为
non-entity生成负样本？ - 当这个模型处理文本中的每个单词加上该单词的前7个和后7个单词时，如何像他们声称的那样快速？
这就是我想要理解的内容。
回答：
可能的单词子序列的特定最大长度是否意味着它考虑每个单词的前7个单词和后7个单词？
根据文档我的理解，你的描述并不完全正确。因为评估的是长度最多15个单词的所有可能序列，这将包括一个单词及其前7个和后7个单词，但也包括该单词前5个和后3个单词等（即长度在1到15之间的所有可能的N-gram）。初始概率被推导出来，重叠的字符串被比较，任何概率较低的重叠都被丢弃，因此最终的候选是非重叠的。
当这是一个二元分类实体和非实体时，神经网络如何生成一个分数？还是他们指的是实体的概率分数？
根据Google AI博客，“对于每个候选，评分神经网络会根据它是否代表一个有效的实体分配一个值（在0到1之间）。”所以这将是一个概率。
如何训练一个二元NER？是否像其他NER一样，只是将所有实体替换为类型’entity’，然后为非实体生成负样本？
是的，但是，因为这是一个感知机模型，将训练许多二元分类器，每个分类器将作为模型中的一个神经元。重要的是要注意，分类器只分类实体/非实体，而不是实体类型。文章还讨论了通过从一个正样本（由字符串中的开始标记和结束标记标记）中故意包含该实体之前或之后的标记来自动生成负样本的技术。这项技术将大大增加训练数据的规模。
当这个模型处理文本中的每个单词加上该单词的前7个和后7个单词时，如何像他们声称的那样快速？
将相对较短的字符串（长度15）适配到模型中的计算成本是小的。将一个较长的字符串分割成这种长度的子字符串的计算成本也相当小。即使文本长度达到5000个单词（对于这种类型的查询来说已经很大了），那也只有大约60万个n-gram需要评估，而且其中大多数将会有非常低的实体分数。据我所知，这些方法中最重要的计算成本是训练模型。这就是文章中讨论的“哈希字符gram嵌入”技术被使用的部分。
