第一次装pyspark,在装完jdk,pyspark,hadoop和winutils之后在cmd中输入spark-shell来测试spark安装,返回了找不到指定的路径。
试了些可能的错误最后找到了问题。
这是spark-shell文件:

用到的是环境变量里的SPARK_HOME,所以即便path里面用的全路径也要创建SPARK_HOME变量。
然后JAVA_HOME和SPARK_HOME都要创建在用户环境变量,一开始我创建在了系统环境变量,这是我遇到找不到路径的原因。
别的可能的原因:
1. 路径里有空格
2. JAVA_HOME和SPARK_HOME里面包含了bin,应该停止在bin的上一级
本文介绍了在Windows环境下配置PySpark并启动spark-shell过程中遇到的路径问题。主要原因是JAVA_HOME和SPARK_HOME环境变量未正确设置在用户环境变量中,而非系统环境变量。此外,文章还列举了一些可能引发此问题的因素,例如路径中含有空格或环境变量中包含bin目录。


被折叠的 条评论
为什么被折叠?



