muyingmiao的专栏

1.通过Flink将数据sink到HBase import org.apache.commons.lang.StringUtils import org.apache.flink.api.common.functions.RichMapFunction import org.apache.flink.api.scala.ExecutionEnvironment import scala.co...

1.运行./yarn-session.sh命令报错 [hadoop@hadoop002 bin]$ ./yarn-session.sh --help Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassD...

编译步骤参照官网：https://ci.apache.org/projects/flink/flink-docs-release-1.9/flinkDev/building.html 0.按照官网：In addition you needMaven 3and aJDK(Java Development Kit). Flink requiresat least Java 8to buil...

1.定义计数器 2.通过getRuntimeContext注册计数器 3.触发flink程序，获取计数器并获取结果 scala版本 def main(args: Array[String]): Unit = { import org.apache.flink.api.scala._ val env = ExecutionEnvironment.getExecutionEnv...

java代码 package com.wxx.flink.java.distribute; import org.apache.commons.io.FileUtils; import org.apache.flink.api.common.functions.RichMapFunction; import org.apache.flink.api.java.ExecutionEnviron...

在java和scala混编的代码中，有时会遇到java集合和scala结合不兼容的问题，需要导入相应的依赖 import scala.collection.JavaConverters._ 然后通过scala的asScala方法，将java结合转换为scala结合具体代码如下 def main(args: Array[String]): Unit = { val env = Ex...

创建一个Flink项目https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/projectsetup/java_api_quickstart.html#create-project mvn archetype:generate \ -DarchetypeGr...

Flink是一个以Java及Scala作为开发语言的开源大数据项目，代码开源在github上，并使用maven来编译和构建项目。对于大部分开发或使用Flink的同学来说，Java、Maven和Git这三个工具是必不可少的，因此我们会首先介绍一下这三个工具的安装和配置。另外，一个强大的IDE有助于我们更快的阅读代码、开发新功能以及修复bug，因此这里也会简单介绍IDE的相关配置。 根据我们之前的调...