我正在寻找一种最简单的方法,使用bash在虚拟机上下载Kaggle竞赛数据(训练和测试集),以便在不将其上传到Git的情况下进行训练。
回答:
首先,您需要将Kaggle网站的cookie信息复制到一个文本文件中。有一个Chrome扩展程序可以帮助您完成此操作。复制cookie信息并将其保存为cookies.txt。
现在,使用以下命令将文件传输到EC2实例:
scp -i /path/my-key-pair.pem /path/cookies.txt [email protected]:~
接受竞赛规则,并从kaggle.com复制您想要下载的数据集的URL。例如,Intel & MobileODT Cervical Cancer Screening竞赛的sample_submission.csv文件的下载URL是:https://kaggle.com/c/intel-mobileodt-cervical-cancer-screening/download/sample_submission.csv.zip
现在,从终端使用以下命令将数据集下载到实例中。
wget -x --load-cookies cookies.txt https://kaggle.com/c/intel-mobileodt-cervical-cancer-screening/download/sample_submission.csv.zip