我正在努力让数据收集部分由远程机器完成。这意味着我的远程实例将使用我的Python代码来运行查询以从BigQuery获取数据。随后，它将使用这些数据并启动一个机器学习任务。这些步骤可以在我的本地机器上通过脚本完成。但是，在我的Python模块”trainer.task.py”正在执行的云实例中，最好的获取数据的方式是什么呢？
回答：
想法是使用服务账户凭证来查询BigQuery中的数据，如使用服务账户密钥文件进行身份验证中所讨论的。
自动化过程可以通过一个bash脚本（我们称之为”deploy_cloud.sh”）来处理，该脚本将包含如下所有配置参数：
export JOB_NAME="your_job_$(date +%Y%m%d_%H%M%S)"export BUCKET_NAME=your_jobexport CLOUD_FOLDER=test-folderexport JOB_DIR=$BUCKET_NAME/$CLOUD_FOLDER/$JOB_NAMEexport CLOUD_SECRET_FOLDER=credentialsexport SERVICE_ACC_SECRET=service_account_secret.json# 将您的服务账户凭证复制到云存储# 您可以手动在您的存储中执行这一步gsutil cp -r path_to_your_service_account_file/$SERVICE_ACC_SECRET gs://$BUCKET_NAME/$CLOUD_FOLDER/$CLOUD_SECRET_FOLDER/$SERVICE_ACC_SECRET# 定义您的查询参数export YOUR_QUERY_PARAM1="provide_param1_value"export YOUR_QUERY_PARAM2="provide_param2_value"export YOUR_QUERY_PARAM3="provide_param3_value"export YOUR_QUERY_PARAM4="provide_param4_value"# 然后提交您的训练任务 gcloud ml-engine jobs submit training $JOB_NAME \--job-dir $JOB_DIR \--runtime-version 1.4 \--module-name trainer.task \--package-path ./trainer \--region $REGION \--config=trainer/config-gpu.yaml \-- \--client-sec gs://$BUCKET_NAME/$CLOUD_FOLDER/$CLOUD_SECRET_FOLDER/$SERVICE_ACC_SECRET \--query-param1 $YOUR_QUERY_PARAM1 \--query-param2 $YOUR_QUERY_PARAM2 \--query-param3 $YOUR_QUERY_PARAM3 \--query-param4 $YOUR_QUERY_PARAM4 在您的task.py文件中，您需要使用参数解析器来使用这些传递的值，并据此构建您的查询。在您的task.py文件中，使用以下代码从您的存储桶读取并将其写入云实例的本地内存中，如下所示：
def read_and_write_client_secret(input_file, output_file): with file_io.FileIO(input_file, 'r') as f: secret = json.load(f) with open(output_file, 'w') as outfile: json.dump(secret, outfile)您可以按如下方式调用上述函数（在您的task.py中）：
read_and_write_client_secret(args_dict['client_sec'], 'temp.json')假设您的参数解析器将所有参数存储为args_dict中的字典。请注意，您的服务账户文件将被写入云实例当前/工作目录中的’temp.json’。
现在，您需要在创建BigQuery客户端时指定文件位置（包含凭证的’temp.json’），如下所示：
# my_query = build_my_query(args_dict['query_param1'], args_dict['query_param2'], args_dict['query_param3'], args_dict['query_param4'])bigquery_client = bigquery.Client.from_service_account_json( 'temp.json')query_job = client.query(my_query)results = query_job.result() # 等待作业完成。# 建议：从迭代器中提取数据并创建一个pandas数据框以供进一步处理现在，您的云实例将能够运行查询并使用这些数据。您可以开始对获取的数据进行机器学习任务了。
