如果我有一组句子，并且这些句子中的词之间存在一些依赖关系。我想训练BERT来预测哪些词与其他词之间存在依赖关系。

例如，如果我有以下句子：

我们在巴黎四处移动，巴黎是法国的首都。

0——1——-2——-3——4—-5——6—–7—8—–9—-10—11（词的索引）

我希望BERT能预测，对于词巴黎，词法国的位置。因此，将任务塑造成序列标注任务。

其中，一个词的标签可以是-1，如果这个词与句子中任何其他词之间没有关系，或者是其他词的索引；对于我们上面的例子，词巴黎应具有词法国的索引11。

将索引作为标签放置是否正确？

回答：

不正确。问题在于在每个句子中，位置索引的含义完全不同，因此对于网络来说，学习如何处理这些将极为困难。你可以把最终投影中的参数矩阵想象成目标类的嵌入，而分类则是测量输出状态与类嵌入的相似性。

我建议进行分类，类似于人们有时在依赖解析器中所做的，即，对于每一对词，分类判断它们之间是否存在关系。

BERT为每个句子提供一个包含上下文嵌入的矩阵。将其创建为一个3D张量，其中位置[i, j]包含词i和j的表示的拼接。然后，将这些对中的每一个分类为真/假，指示这两词之间是否存在依赖关系。