修改~/.bashrc文件,添加下面两条
export PYSPARK_PYTHON=/home/Python-3.6.3/bin/python3
export PYSPARK_DRIVER_PYTHON=/home/Python-3.6.3/bin/python3
如果还不行,就修改 spark目录下的conf/spark-env.sh文件,把上面的两行代码加进去
本文介绍了如何通过修改~/.bashrc文件及spark-env.sh文件来指定PySpark使用的Python解释器路径,确保PySpark能够正确调用所需的Python版本。
修改~/.bashrc文件,添加下面两条
export PYSPARK_PYTHON=/home/Python-3.6.3/bin/python3
export PYSPARK_DRIVER_PYTHON=/home/Python-3.6.3/bin/python3
如果还不行,就修改 spark目录下的conf/spark-env.sh文件,把上面的两行代码加进去
2004
2428
3734

被折叠的 条评论
为什么被折叠?
