我正在尝试将OpenAI的功能,特别是GPT3.5和嵌入技术,集成到我们办公室用于各种用途的大型Excel工作簿系统中。我们的目标是让GPT3.5取代一组维护起来非常困难的宏,同时使用embeddings-ada-002来改进数据的搜索和分类功能。
然而,我担心Excel是否能够处理数百个高维嵌入数据。我也担心当有多个包含数千行的工作表,并且提供“复杂结构”作为上下文时,Excel和GPT3.5会遇到困难。
(我们使用的是i5处理器的Windows系统)
Excel能否处理这种大规模的数据处理和AI模型?对此有何见解?
回答:
Excel非常强大,但在处理大量数据时有其局限性。它是为表格数据设计的,对于高维数据处理会遇到困难 来源。
此外,GPT-3.5在处理的token数量上也有限制 来源。如果你的Excel表格数据量大,GPT-3.5也会遇到困难。
一个更可扩展的解决方案可能是使用Python。你可以使用Python和pandas来操作数据,并使用PyOpenAI从Excel工作簿中读取数据,使用OpenAI模型进行处理,然后将结果写回Excel 来源。
这是一个示例:
import pandas as pd
from openai import OpenAI, GPT3Completion
# 从Excel加载数据到pandas DataFrame
df = pd.read_excel('your_data.xlsx')
# 使用你的API密钥初始化OpenAI API
openai = OpenAI(api_key='your_api_key')
# 使用GPT3.5处理每一行数据
for index, row in df.iterrows():
prompt = row['your_column']
response = openai.GPT3Completion.create(prompt=prompt, model='gpt-3.5-turbo')
# 保存逻辑