我打算在Airflow上创建一个机器学习流程。
例如)
result = model.fit()
但是DAG文件:(sample.py)每次都会被刷新。
因此,我无法存储训练好的模型。
我应该如何处理训练好的模型?
或者我应该将训练好的模型数据存储在外部?
然后再使用训练好的模型?
回答:
将模型存储在pickle文件中,并在需要时从同一文件中检索模型。
import pickle
result = model.fit()
# 将模型保存到磁盘
filename = 'my_model.sav'
pickle.dump(model, open(filename, 'wb'))
# 从文件中加载模型以便后续使用
reload_model = pickle.load(open(filename, 'rb'))
result_final = reload_model.score(X_test, y_test)
print(result_final)