我想将来自各种PDF的文本发送到OpenAI的API。具体来说是为二年级学生总结或TL;DR总结API。
我可以使用PyMuPDF从PDF中提取文本并准备OpenAI的提示语。
问题：当token数量超过允许的2049时，如何最好地准备提示语？
- 我只是截断文本然后发送多个请求吗？
- 还是有办法对文本进行抽样以“压缩”它而不丢失关键点？
回答：
我遇到了同样的问题。这是我在发送远超过OpenAI的GPT3 token限制的文本时使用的策略。
根据所使用的模型（Davinci、Curie等），请求可以使用多达4097个tokens，这些tokens在提示语和完成之间共享。
- 提示语是你发送给OpenAI的输入，即你的“命令”，例如“总结以下文本”加上文本本身
- 完成是响应，即你文本的整个总结
如果你的提示语是4000个tokens，你的完成最多可以是97个tokens。有关OpenAI tokens及其计数方法的更多信息，请点击这里查看。
为了确保我们不超过提示语和完成的最大长度限制，我们需要确保提示语（即你的文本）和完成（即总结）加在一起始终符合4097个tokens的界限。
为此，我们将整个文本分成多个文本块，独立总结每个块，最后使用简单的" ".join()函数合并所有总结的块。
最大单词数 – Token到单词的转换
OpenAI对tokens的数量有固定的限制。然而，token并不等同于单词。因此，我们首先需要计算我们可以发送给OpenAI的最大单词数。文档中说：
根据token到单词的比例，我们可以向OpenAI的GPT3发送大约2900个单词，假设每个文本块有5个句子的总结。
- 每个请求的最大tokens数：4000个tokens（留出97个tokens作为安全缓冲）= 3000个单词
- 最大提示语tokens数：“用五个句子总结以下文本”有7个单词= 10个tokens
- 返回总结的最大tokens数（5个句子）：每个句子20个单词。5 * 20 = 100个单词 = 133个tokens
- 文本块的最大tokens数：4000 – 10 – 133 = 3857个tokens = 2900个单词
文本分块
我们可以从众多策略中选择来将整个文本分成更小的块。
最简单的做法是通过空格分割整个文本，创建一个包含所有单词的单一列表，然后创建单词桶，将单词均匀分布在所有桶中。其缺点是我们可能会将一个句子从中间分割，失去句子的意义，因为GPT最终会独立总结句子的前半部分和后半部分——忽略两个块之间的任何关系。
其他选项包括SentencePiece和spaCy的句子分割器。选择后者可以生成最稳定的结果。
使用spaCy实现文本分块
以下示例将文本“我的第一个生日很棒。我的第二个生日甚至更好。”分割成一个包含两个句子的列表。
python -m spacy download en_core_web_smimport spacyfrom spacy.lang.en import Englishnlp = spacy.load("en_core_web_sm")text = "My first birthday was great. My 2. was even better." for sentence in nlp(text).sents: print(sentence.text)输出
My first birthday was great.My 2. was even better.spaCy正确地检测到了第二个句子，而不是在“2.”之后分割它。
现在，让我们编写一个text_to_chunks辅助函数来生成每个块最多包含2700个单词的句子块。2900个单词是最初计算的单词限制，但我们希望确保有足够的缓冲空间来处理比1.33个tokens长的单词。
def text_to_chunks(text): chunks = [[]] chunk_total_words = 0 sentences = nlp(text) for sentence in sentences.sents: chunk_total_words += len(sentence.text.split(" ")) if chunk_total_words > 2700: chunks.append([]) chunk_total_words = len(sentence.text.split(" ")) chunks[len(chunks)-1].append(sentence.text) return chunksOpenAI最近引入了一种新的方法来确定文本的tokens数量。该方法使用tiktoken，并针对OpenAI的模型进行了优化。
import tiktokenencoding = tiktoken.encoding_for_model("gpt-3.5-turbo")number_of_tokens = len(encoding.encode("tiktoken is great!"))print(number_of_tokens)接下来，我们将文本总结逻辑包装到一个summarize_text函数中。
def summarize_text(text): prompt = f"Summarize the following text in 5 sentences:\n{text}" response = openai.Completion.create( engine="text-davinci-003", prompt=prompt, temperature=0.3, max_tokens=150, # = 112 words top_p=1, frequency_penalty=0, presence_penalty=1 ) return response["choices"][0]["text"]我们的最终代码如下所示：
chunks = text_to_chunks(one_large_text)chunk_summaries = []for chunk in chunks: chunk_summary = summarize_text(" ".join(chunk)) chunk_summaries.append(chunk_summary)summary = " ".join(chunk_summaries)