我想使用Python从MongoDB创建LabeledPoint，

我已经尝试过使用csv文件而不是MongoDB来做这件事，以下是返回LabeledPoint的函数代码

def createLabeledPoints(fields):  
    q1 = int(fields[0])  
    q2 = int(fields[1])  
    result = int(fields[38])  
    return LabeledPoint(result, array([q1, q2, q3))

这个代码在使用csv文件时对我有效

我使用下面的代码从MongoDB获取我的集合，并将其转换为pandas数据框

from pymongo import MongoClient
client = MongoClient('localhost', 27017)
db1 = client.newumc
collection1 = db.data_classification
rawData1 = DataFrame(list(collection.find({})))

我使用下面的代码获取每个字段

field_for_test = collection.find({}, {'field_from_mongodb':1,'_id':0})

回答：

我通过使用以下方法解决了这个问题

spark = SparkSession \
    .builder \
    .appName("myApp") \
    .config("spark.mongodb.input.uri", "mongodb://127.0.0.1/newumc.classification_data") \
    .config("spark.mongodb.output.uri", "mongodb://127.0.0.1/newumc.classification_data") \
    .getOrCreate()
df = spark.read.format("com.mongodb.spark.sql.DefaultSource").load()
field1 = df[1]
field2 = df[2]