我是一个初学者,正在尝试使用Keras处理时间序列数据应用。我创建了一个回归模型,并将其保存以便在不同的Python脚本中运行。
我处理的时间序列数据是按小时记录的,我使用保存的Keras模型来预测数据集中每一小时的值。(data
= CSV文件被读取到pandas中)对于一年的时间序列数据,有8760个(一年中的小时数)预测,最后我尝试对预测值进行求和。
在下面的代码中,我没有展示如何重建模型架构(这是Keras保存模型的要求),代码是可行的,只是速度极慢。这种方法对于少于200个预测还可以接受,但对于8760个预测,代码运行得太慢,以至于无法完成。
我对数据库没有经验,但这是否比将8760个Keras预测存储在Python列表中更好的方法?感谢任何建议,我还在学习的过程中..
#设置初始循环参数 & 空列表用于存储建模数据
row_num = 0
total_estKwh = []
for i, row in data.iterrows():
params = row.values
if (params.ndim == 1):
params = np.array([params])
estimatedKwh = load_trained_model(weights_path).predict(params)
print('Analyzing row number:', row_num)
total_estKwh.append(estimatedKwh)
row_num += 1
df = pd.DataFrame.from_records(total_estKwh)
total = df.sum()
totalStd = np.std(df.values)
totalMean = df.mean()
回答:
看起来你在没有明显理由的情况下让自己的生活变得非常困难…
首先,你不需要为每一行都加载模型 – 这太过分了!你应该将 load_trained_model(weights_path)
从 for
循环中移出,像这样:
model = load_trained_model(weights_path) # 只加载一次
然后在循环中用以下代码替换相应的行:
estimatedKwh = model.predict(params)
其次,一行一行地调用模型进行预测同样效率低下;最好先将你的 params
准备成一个数组,然后将这个数组输入模型以获取批量预测。也忘了那个 print
语句吧..
总的来说,试试这个:
params_array = []
for i, row in data.iterrows():
params = row.values
if (params.ndim == 1):
params = np.array([params]) # 这个if条件真的必要吗??
params_array.append(params)
params_array = np.asarray(params_array, dtype=np.float32)
total_estKwh = load_trained_model(weights_path).predict(params_array)
df = pd.DataFrame.from_records(total_estKwh)
total = df.sum()
totalStd = np.std(df.values)
totalMean = df.mean()