使用GPT-3.5和嵌入技术在大规模数据处理中表现卓越

我正在尝试将OpenAI的功能,特别是GPT3.5和嵌入技术,集成到我们办公室用于各种用途的大型Excel工作簿系统中。我们的目标是让GPT3.5取代一组维护起来非常困难的宏,同时使用embeddings-ada-002来改进数据的搜索和分类功能。

然而,我担心Excel是否能够处理数百个高维嵌入数据。我也担心当有多个包含数千行的工作表,并且提供“复杂结构”作为上下文时,Excel和GPT3.5会遇到困难。

(我们使用的是i5处理器的Windows系统)

Excel能否处理这种大规模的数据处理和AI模型?对此有何见解?


回答:

Excel非常强大,但在处理大量数据时有其局限性。它是为表格数据设计的,对于高维数据处理会遇到困难 来源

此外,GPT-3.5在处理的token数量上也有限制 来源。如果你的Excel表格数据量大,GPT-3.5也会遇到困难。

一个更可扩展的解决方案可能是使用Python。你可以使用Python和pandas来操作数据,并使用PyOpenAI从Excel工作簿中读取数据,使用OpenAI模型进行处理,然后将结果写回Excel 来源

这是一个示例:

import pandas as pd
from openai import OpenAI, GPT3Completion
# 从Excel加载数据到pandas DataFrame
df = pd.read_excel('your_data.xlsx')
# 使用你的API密钥初始化OpenAI API
openai = OpenAI(api_key='your_api_key')
# 使用GPT3.5处理每一行数据
for index, row in df.iterrows():
    prompt = row['your_column']
    response = openai.GPT3Completion.create(prompt=prompt, model='gpt-3.5-turbo')
    # 保存逻辑

Related Posts

Keras Dense层输入未被展平

这是我的测试代码: from keras import…

无法将分类变量输入随机森林

我有10个分类变量和3个数值变量。我在分割后直接将它们…

如何在Keras中对每个输出应用Sigmoid函数?

这是我代码的一部分。 model = Sequenti…

如何选择类概率的最佳阈值?

我的神经网络输出是一个用于多标签分类的预测类概率表: …

在Keras中使用深度学习得到不同的结果

我按照一个教程使用Keras中的深度神经网络进行文本分…

‘MatMul’操作的输入’b’类型为float32,与参数’a’的类型float64不匹配

我写了一个简单的TensorFlow代码,但不断遇到T…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注