Home apache-spark-mllib

apache-spark-mllib

IT技术

ML Tuning – Cross Validation in Spark

· 2025年6月1日 · 0 Comment

我在https://spark.apache.org/…

IT技术

PySpark中的MulticlassClassificationEvaluator和MultilabelClassificationEvaluator有什么区别？

· 2025年5月31日 · 0 Comment

MulticlassClassificationEva…

IT技术

Pyspark训练的Logistic Regression模型无法使用predict()和predictProbability()函数

· 2025年5月31日 · 0 Comment

我使用PySpark MLlib内置的Logistic…

IT技术

pyspark.sql.utils.IllegalArgumentException: ‘字段 “features” 不存在

· 2025年5月31日 · 0 Comment

我正在尝试使用SparkNLP对文本数据进行主题建模和…

IT技术

如何在Spark中获取spark.ml NaiveBayes的概率向量而不是[0-1]类别？

· 2025年5月30日 · 0 Comment

我正在使用NaiveBayes分类器工作，并且可以使用…

IT技术

在PySpark中分类后的所有评估指标

· 2025年5月29日 · 0 Comment

我已经训练了一个模型，并希望计算几个重要的指标，如ac…

IT技术

‘OneHotEncoder’对象没有属性’transform’

· 2025年5月29日 · 0 Comment

我使用的是Spark v3.0.0版本。我的数据框如下…

IT技术

Spark RFormula 解释

· 2025年5月27日 · 0 Comment

我在阅读《Spark 权威指南》时，遇到了 MLlib…

IT技术

使用MLlib对数据集进行缩放

· 2025年5月27日 · 0 Comment

我使用Spark MLlib对下面的数据集进行了一些缩…

IT技术

### AttributeError: ‘PipelineModel’ 对象没有属性 ‘fitMultiple’

· 2025年5月27日 · 0 Comment

我在尝试使用 pyspark、CrossValidat…

IT技术

如何创建一个在已经拟合初始数据集后继续训练新样本的Estimator？

· 2025年5月27日 · 0 Comment

我正在尝试根据我在Spark源代码中找到的例子创建自己…

IT技术

如何从PySpark的向量结构中获取项目

· 2025年5月27日 · 0 Comment

我正在尝试从TF-IDF结果向量中获取分数数组。例如：…

IT技术

理解mllib中的滑动窗口

· 2025年5月26日 · 0 Comment

我知道在Spark结构化流中，滑动窗口是基于事件时间的…

IT技术

通过Spark MLlib回归估计数值

· 2025年5月25日 · 0 Comment

我在训练Spark MLlib的线性回归模型，但我认为…

IT技术

pyspark ml模型预测后映射id列

· 2025年5月25日 · 0 Comment

我使用pyspark.ml.classificatio…

IT技术

使用Spark进行机器学习，数据准备阶段的性能问题，MLeap

· 2025年5月24日 · 0 Comment

我发现关于MLeap的很多积极反馈——这是一个允许快速…

IT技术

PySpark AttributeError: 类型对象 ‘ALS’ 没有属性 ‘trainImplicit’

· 2025年5月24日 · 0 Comment

我试图使用ALS来训练我的数据集以找到潜在因子。我的数…

IT技术

‘CrossValidatorModel’对象没有属性’featureImportances’

· 2025年5月22日 · 0 Comment

我正在尝试提取使用Pyspark训练的随机森林分类器模…

IT技术

为什么Spark ML感知机分类器的F1分数很高，而在TensorFlow上的相同模型表现却非常差？

· 2025年5月22日 · 0 Comment

我们的团队正在处理一个自然语言处理问题。我们有一组带有…

IT技术

### Pyspark错误：使用交叉验证时出现“Field rawPrediction does not exist”

· 2025年5月22日 · 0 Comment

我在训练数据上尝试使用CrossValidator，但…

IT技术

为什么Spark的Word2Vec返回一个向量？

· 2025年5月22日 · 0 Comment

运行Spark的Word2Vec示例时，我发现它接收一…

IT技术

Spark模型如何处理向量列？

· 2025年5月22日 · 0 Comment

在Spark中，方法如何处理向量组装列？例如，如果我有…

IT技术

如何在Spark中使用KMeans对推文进行聚类？

· 2025年5月1日 · 0 Comment

我想根据主题对推文进行聚类（例如，将所有关于亚马逊的推…

IT技术

使用CrossValidator和ParamGridBuilder查找最佳管道模型

· 2025年4月16日 · 0 Comment

我已经有一个可以接受的模型，但我希望通过在Spark …

IT技术

使用Pyspark训练非线性SVC模型

· 2025年4月15日 · 0 Comment

有没有办法使用Pyspark来训练一个非线性SVC模型…