zhangshk_的博客

NIFI的核心概念：nifi设计理念是基于流的编程，下面是nifi的一些概念： NiFi Term FBP Term Description FlowFile 信息流 每一个数据流在系统里面流动，并包含着key/value形式的attribute，以及不同大小的content FlowFile Processor 黑盒 数据流处理器是nifi中真正处理工作的，譬如，整

可能的情况：1. 先启动kafkaserver  后启动的zookeeper     正确方式，先启动zk ，后启动kafkaserver2. 添加配置在kafka-server 中 listeners=PLAINTEXT://localhost:9092 ############################# Socket Server Settings ############...

一案例驱动 二源码分析 三类加载器ClassLoader 四总结 五参考 一案例驱动最近加载文件的时候遇到了一个问题，很有意思！ 具体看下面案例代码public class TestClassLoader { public static void main(String[] args) { System.out.println(TestClassLo...

爱谁谁，乌龟爬铁锤，用了再说。。。准备环境：jdk1.8 并加入环境变量export JAVA_HOME=/root/software/jdk1.8.0_151export PATH=$PATH:$JAVA_HOME/bin确保防火墙是关闭的：[root@dev-02 bin]# service iptables statusiptables: Firewall is not running.

WARNING: MongoDB version < 3.2 detectedERROR partitioner.DefaultMongoPartitioner:----------------------------------------WARNING: MongoDB version < 3.2 detected.--------------------------...

译自：https://ci.apache.org/projects/flink/flink-docs-release-1.7/flinkDev/building.html编译Flink为了构建Flink，您需要下载源代码。地址：https://github.com/apache/flink此外，您还需要Maven 3和JDK。Flink 至少需要Java 8才能构建。注意：Mave...

译自：https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/projectsetup/dependencies.html 依赖管理、连接器、库每个Flink应用程序都依赖于一组Flink库。至少，应用程序依赖于Flink API。许多应用程序还依赖于某些连接器库（如Kafka，Cassandra等）。运行Flin...

什么导致HBase性能下降？jvm内存分配和GC回收策略与HBase运行机制相关配置不合理 （hbase-site.xml配置优化）表结构设计不合理以及用户使用方式不合理HBase数据存储过程HBase写入的时候会先写入memstore达到一定大小，会flush到磁盘保存成HFile，当HFile小文件太多会执行compact操作进行合并。对HBase来说，当每一个store，仅仅...

过滤器能干什么？HBase为筛选数据提供了一组过滤器，通过过滤器可以在HBase中的数据的多个维度（行，列，版本等）上对数据进行过滤筛选操作。通常来说，通过行建，列来筛选数据的应用场景较多。HBase过滤器分类1.基于行，列，单元值的过滤器1.1----- 基于行的过滤器PrefixFilter ：行的前缀匹配PageFilter ：基于行的分页1.2------基于列的过...

学完hbase shell API的基本操作之后，可以通过Java API 对hbase基本操作实现一把。基本概念java类对应数据模型HBaseConfigurationHBase配置类HBaseAdminHBase管理Admin类TableHBase Table操作类PutHBase添加操作数据模型GetHBase单个查询操作数据模...

HBase 写入流程：插入一条数据到某个表，因为HBase通过Zookeeper协调Client 首先连接Zookeeper，从Zookeeper中获取表region相关信息。根据要插入的rowkey，获取指定的Regionserver信息，如果是批量提交的话，会把rowkey根据HRegion Location进行分组。当得到了需要访问的Regionserver之后，Client，会向对...

获得某一个命令的详细信息help ‘status’hbase(main):006:0> help 'status'Show cluster status. Can be 'summary', 'simple', 'detailed', or 'replication'. Thedefault is 'summary'. Examples: hbase> status ...

hbasehbase 是什么？ 由哪些模块构成hbase的优缺点以及应用场景hbase和关系型数据库的区别Hbase 简介Hbase是一个分布式的，面向列的开源数据库Hbase在Hadoop之上提供类似于BigTable的能力Hbase不同于一般的关系型数据库，它适合存储非结构化的数据BigTable是什么？bigtable 是基于google 的GFS的面向列的...

1 什么是redis? Redis 是一个基于内存的高性能key-value数据库。 (有空再补充，有理解错误或不足欢迎指正) 2 Reids的特点 Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可...

Q0.数据库索引有哪些，优缺点？hash索引和B+树索引hash索引等值查询效率高，但是不能排序，因此不能进行范围查询B+树索引数据有序，能够进行范围查询 Q1.为什么不用二叉查找树作为数据库索引？二叉查找树，查找到指定数据，效率其实很高logn。但是数据库索引文件有可能很大，关系型数据存储了上亿条数据，索引文件大则上G，不可能全部放入内存中，而是需要的时候换入内存，方式...

 唐尤华 JAVA葵花宝典 基本概念 操作系统中 heap 和 stack 的区别 什么是基于注解的切面实现 什么是 对象/关系 映射集成模块 什么是 Java 的反射机制 什么是 ACID BS与CS的联系与区别 Cookie 和 Session的区别 fail-fast 与 fail-safe 机制有什么区别...

转载：http://web.jobbole.com/87968/0、排序算法说明0.1 排序的定义对一序列对象根据某个关键字进行排序。0.2 术语说明稳定：如果a原本在b前面，而a=b，排序之后a仍然在b的前面； 不稳定：如果a原本在b的前面，而a=b，排序之后a可能会出现在b的后面； 内排序：所有排序操作都在内存中完成； 外排序：由于数据太大，因此把数据放在磁盘中，而排序通...

HDFS文件系统介绍 Hadoop提供的操作HDFS的api接口是以FileSystem为基础的，在该类中提供一系列操作文件的方法，比如：文件上传copyFromLocalFile方法，创建文件create方法，删除文件delete方法等。该类的全称为org.apache.hadoop.fs.FileSystem。主要的子类有：DistributedFileSystem, WebHdfsF...

hdfs命令是hadoop提供的操作HDFS分布式文件系统的shell命令客户端，我们可以通过该命令对分布式文件系统进行文件的增删查操作，也可以通过该命令获取到一些hadoop的相关配置信息，而且我们启动hdfs相关服务进程都是通过该命令进行的。   hdfs命令主要分为两类，一类是用户命令：dfs, fsck等，一类是管理员命令：dfsadmin，namenode，datanode等。  ...

我们有时候会在java代码中，去执行一个linux shell脚本或者windows触发执行一个.bat脚本本文章，会写一个通用的脚本工具类，通过这个工具类，可以在java代码中，调用linux shell脚本，或者window .bat脚本。 比如我们数据平台，有一个数据分析工具，当数据分析工程师，通过我们的工具，配置了某一个数据分析任务，后台的injector进程会监测到这个j...