flink Could not find a file system implementation for scheme hdfs

原创已于 2022-06-02 13:12:21 修改 · 5.3w 阅读

4 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#flink

收录于

于 2022-06-02 13:11:25 首次发布

flink 同时被 2 个专栏收录

29 篇文章

订阅专栏

异常处理

24 篇文章

订阅专栏

在Flink 1.8版本之后，官方不再直接支持hdfs文件系统。遇到'UnsupportedFileSystemSchemeException'错误是因为缺少Hadoop连接器。解决方法是在项目中添加'flink-shaded-hadoop-2-uber'依赖，具体版本如2.8.3-9.0，将其设置为provided范围。

问题：

org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'hdfs'. 
The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded.

原因：

flink自1.8之后不再提供对应的hadoop编译版本，需要用户自己重新编译或者提供一个flink和hadoop连接器。

解决：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-shaded-hadoop-2-uber</artifactId>
    <version>2.8.3-9.0</version>
    <scope>provided</scope>
</dependency>