在Transformers库中，Pegasus模型的最大输入长度是多少词和/或句子？我在Pegasus研究论文中读到最大值是512个标记，但这相当于多少词和/或句子？另外，是否可以增加512个标记的最大数量？

回答：

在Transformers库中，Pegasus模型的最大输入长度是多少词和/或句子？这实际上取决于你的预训练。你可以创建一个支持100个标记或10000个标记长度的pegasus模型。例如，模型google/pegasus-cnn_dailymail支持1024个标记，而google/pegasus-xsum支持512个标记：

from transformers import PegasusTokenizerFastt = PegasusTokenizerFast.from_pretrained("google/pegasus-xsum")t2 = PegasusTokenizerFast.from_pretrained("google/pegasus-cnn_dailymail")print(t.max_len_single_sentence)print(t2.max_len_single_sentence)

输出：

5111023

这些数字减少了1，因为每个序列都会添加一个特殊标记。

我在Pegasus研究论文中读到最大值是512个标记，但这相当于多少词和/或句子？

这取决于你的词汇表。

from transformers import PegasusTokenizerFastt = PegasusTokenizerFast.from_pretrained("google/pegasus-xsum")print(t.tokenize('This is a test sentence'))print("I know {} tokens".format(len(t)))

输出：

['▁This', '▁is', '▁a', '▁test', '▁sentence']I know 96103 tokens

一个词可以是一个标记，但它也可以被分割成几个标记：

print(t.tokenize('neuropsychiatric conditions'))

输出：

['▁neuro', 'psych', 'i', 'atric', '▁conditions']

另外，是否可以增加512个标记的最大数量？

是的，你可以训练一个具有不同输入长度的pegasus架构的模型，但这成本高昂。