在使用 PyCharm 进行 PySpark 开发时,你是否遇到过这样令人头疼的错误 ——PySparkRuntimeError: Java gateway process exited before sending its port number ,还伴随 'cmd' 不是内部或外部命令 这类提示?别慌,本文就来一步步拆解问题、解决问题,让你的 PySpark 开发重回正轨!
一、报错根源分析
从报错信息看,核心问题出在 Java gateway 启动异常 ,而 'cmd' 不是内部或外部命令 暗示着系统环境变量配置可能有 “漏洞” ,导致 PySpark 启动 Java 网关时,无法正确调用系统命令、找到必要依赖 。简单说,就是系统找不到关键执行路径,Java 网关还没来得及传端口号就 “挂了” 。
报错内容如下:
C:\ProgramData\Miniconda3\python.exe C:\Users\86159\PycharmProjects\pythonProject1\main\Demo.py
<pyspark.conf.SparkConf object at 0x0000020A659E6190>
'cmd' 不是内部或外部命令,也不是可运行的程序
或批处理文件。
Traceback (most recent call last):
File "C:\Users\86159\PycharmProjects\pythonProject1\main\Demo.py", line 25, in <module>
sc = SparkContext(conf=conf)
File "C:\ProgramData\Miniconda3\lib\site-packages\pyspark\context.py", line 144, in __init__
SparkContext._ensure_initialized


2819

被折叠的 条评论
为什么被折叠?



