我的Spark包是spark-2.2.0-bin-hadoop2.7。
我导出的Spark变量如下：
export SPARK_HOME=/home/harry/spark-2.2.0-bin-hadoop2.7export PATH=$SPARK_HOME/bin:$PATH我通过以下命令打开了Spark笔记本：
pyspark我能够从Spark加载包：
from pyspark import SparkContext, SQLContextfrom pyspark.ml.regression import LinearRegressionprint(SQLContext)输出是
<class 'pyspark.sql.context.SQLContext'>但我的错误是
print(sc)"sc is undefined"请问有人能帮我解决这个问题吗…!
回答：
在pysparkShell中，SparkContext已经被初始化为SparkContext(app=PySparkShell, master=local[*])，所以你只需要使用getOrCreate()来将SparkContext设置到一个变量中，如下所示：
sc = SparkContext.getOrCreate()sqlContext = SQLContext(sc)对于在简单的本地模式下的编码目的，你可以执行以下操作：
from pyspark import SparkConf, SparkContext, SQLContextconf = SparkConf().setAppName("test").setMaster("local")sc = SparkContext(conf=conf)sqlContext = SQLContext(sc)print(sc)print(sqlContext)