在上传数据集到Hub时停止运行会导致什么问题?

我在尝试将数据集上传到Hub(AI数据集格式)时遇到了以下错误S3SetError: Connection was closed before we received a valid response from endpoint URL: "<...>".

因此,我尝试删除数据集时,它抛出了下面的错误。

CorruptedMetaError: 'boxes/tensor_meta.json' and 'boxes/chunks_index/unsharded' have a record of different numbers of samples. Got 0 and 6103 respectively.

使用Hub版本:v2.3.1


回答:

看起来在你上传数据集时,运行被中断,导致你尝试上传的数据损坏。删除时使用force=True应该可以让你删除它。

如需更多信息,请查看Hub API基础文档,了解如何在Hub中删除数据集的详细信息。

如果你在上传Hub数据集的过程中中途停止,你的数据集将只会部分上传到Hub。因此,你需要重新开始上传。如果你想重新创建数据集,你可以在hub.empty(overwrite = True)中使用overwrite = True标志。如果你正在更新现有数据集,你应该使用版本控制来检查点那些状态良好的状态。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注