记录下windows本地开发运行Spark项目环境问题

最新推荐文章于 2025-01-17 08:00:00 发布

原创最新推荐文章于 2025-01-17 08:00:00 发布 · 445 阅读

本内容遵循CC 4.0 BY-SA版权协议

标签

#spark #windows #hadoop

收录于

11 篇文章

订阅专栏

本文详细讲述了在Windows环境下使用Spark进行实时流处理时遇到的Hadoop相关错误，涉及DLL文件替换、环境变量配置及github winutils的解决方案。重点在于如何修复IO异常和winutils错误，确保项目在本地IDEA顺利运行。

最近在使用Spark结构化流开发实时流处理项目，原本之前可以在本地IDEA运行的项目突然报各种hadoop相关的错误：
```
  #错误描述，java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String; JJJI)Ljava/io/FileDescriptor
```
可以看出是Windows本地环境问题导致IO异常，网上给出的解决方式是在系统文件C:\Windows\System32下添加一个hadoop.dll文件即可解决，查看我本地环境下自己之前有添加过，以为是版本过旧导致，于是下载可一个新的hadoop.dll文件，运行spark项目，依旧报以下和空指针错误：
```
  Error writing stream metadata StreamMetadata(90a99892-4a05-471c-8e94-19234f1
```
解决方式：最终在github上下载相关hadoop配置并配置本地环境变量完美解决，github winutils地址
下载后解压把其中一个hadoop版本的文件拷贝到本地，并在本地环境配置HADOOP_HOME并添加到PATH环境变量，该方法也解决了之前运行spark项目的winutils错误（如果还存在报错，尝试更新一下bin目录下的hadoop.dll文件版本）