Home apache-spark

apache-spark

IT技术

如何在Spark中缓存随机森林模型

· 2025年4月16日 · 0 Comment

我的平台是Spark 2.1.0，使用的是Python…

IT技术

在pyspark.ml中使用RandomForestClassifier时，VectorIndexer的maxCategories未按预期工作

· 2025年4月16日 · 0 Comment

背景：我正在进行一个简单的二元分类，使用来自pyspa…

IT技术

Apache Spark 2.1中缺少LinearSVC？Spark 2.2中是否支持非线性核函数？

· 2025年4月15日 · 0 Comment

您能确认（或反驳）以下两个声明吗？ SparkML中对…

IT技术

spark error:java.lang.IllegalArgumentException: 大小超过了Integer.MAX_VALUE

· 2025年4月15日 · 0 Comment

我尝试计算负样本的数量，如下所示： val numNe…

IT技术

pyspark.ml: 计算精确度和召回率时的类型错误

· 2025年4月15日 · 0 Comment

我正在尝试使用 pyspark.ml 计算分类器的精确…

IT技术

pyspark.ml pipelines: 基本预处理任务是否需要自定义转换器？

· 2025年4月15日 · 0 Comment

在开始使用pyspark.ml和管道API时，我发现自…

IT技术

在PySpark中使用UDF函数时，稠密向量的类型应该是怎样的？ [duplicate]

· 2025年4月15日 · 0 Comment

这个问题已有答案: 如何在PySpark DataFr…

IT技术

Spark ML随机森林和梯度提升树用于回归

· 2025年4月15日 · 0 Comment

根据Spark ML文档，随机森林和梯度提升树可以用于…

IT技术

使用Spark对象的类型参数界限很难掌握

· 2025年4月15日 · 0 Comment

我是一个Scala的初学者。 我试图创建一个接受Pro…

IT技术

线性回归在Apache Spark中使用Scala甚至不是直线

· 2025年4月15日 · 0 Comment

我想为我愚蠢的问题道歉，但我遇到了线性回归的问题。我在…

IT技术

### 从列表创建Spark数据集

· 2025年4月15日 · 0 Comment

我需要为机器学习创建一个Spark数据集。我有一个包含…

IT技术

‘RDD’对象没有属性 ‘_jdf’ pyspark RDD

· 2025年4月15日 · 0 Comment

我是pyspark的新手。我想对一个文本文件进行一些机…

IT技术

### 处理大量列时性能下降。Pyspark

· 2025年4月14日 · 0 Comment

我在处理宽数据框时遇到了问题（大约9000列，有时更多…

IT技术

在Scala中根据工资列的平均值映射新列的值（将字符串转换为整数）

· 2025年4月14日 · 0 Comment

我有一个部门代码的字符串，我想根据工资列的平均值将其转…

IT技术

pyspark: 创建数据框时’RDD’不可调用

· 2025年4月14日 · 0 Comment

我正在尝试从最终用户通过REST API提供的参数中创…

IT技术

在SparkContext中未定义sc

· 2025年4月14日 · 0 Comment

我的Spark包是spark-2.2.0-bin-ha…

IT技术

python spark: 使用PCA缩小最相关特征

· 2025年4月14日 · 0 Comment

我正在使用Python的Spark 2.2版本。我使用…

IT技术

在线性回归中使用日期及使用Spark MLlib将日期转换为数字

· 2025年4月14日 · 0 Comment

我想在线性回归中使用日期。因此，我需要将其转换为数字。…

IT技术

Spark LDA的logLikelihood和logPerplexity方法不可用，如何测量它们？

· 2025年4月14日 · 0 Comment

已关闭。 此问题需要调试详情。目前不接受回答。 编辑问…

IT技术

如何将向量转换为数组以进行频繁模式分析

· 2025年4月14日 · 0 Comment

我在进行频繁模式分析，需要一些关于输入类型的帮助。 首…

IT技术

如何在Spark中正确地将数值特征与文本（词袋）结合？

· 2025年4月14日 · 0 Comment

我的问题与这个问题类似，但这是针对Spark的，并且原…

IT技术

如何获取Spark LinearSVC模型的最佳特征？

· 2025年4月14日 · 0 Comment

我试图使用ChiSqSelector来确定Spark …

IT技术

Spark MLib Word2Vec 错误：词汇量应大于 0

· 2025年4月14日 · 0 Comment

我正在尝试使用 Spark 的 MLLib 实现词向量…

IT技术

将文本数据转换为SVM文件格式用于垃圾邮件分类？

· 2025年4月14日 · 0 Comment

如何将文本数据转换为LibSVM文件格式以训练垃圾邮件…

IT技术

与H2O机器学习库相比，Sparkling Water的优势何在？

· 2025年4月14日 · 0 Comment

已关闭。此问题属于基于意见的问题。目前不接受回答。 想…