qq_29305191的博客

我的刷题计划参考：https://github.com/CyC2018/CS-Notes/blob/master/notes/Leetcode%20%E9%A2%98%E8%A7%A3%20-%20%E7%9B%AE%E5%BD%95.md 类别 分类 题目名称 难度 ...

概述： 状态作为流计算的核心属性，Flink针对状态做了很多的处理，即你可以将中间的计算结果进行保存，并提供给后续的计算使用。 分类： KeyState: ValueState ListState ReducingState AggregatingState FoldingState MapState OperatorState ListState UnionListState Broad...

导读 Flink 为实时计算提供了三种时间，即事件时间（event time）、摄入时间（ingestion time）和处理时间（processing time）。 遇到的问题： 假设在一个5秒的Tumble窗口，有一个EventTime是 11秒的数据，在第16秒时候到来了。图示第11秒的数据，在16秒到来了，如下图：该如何处理迟到数据 什么是Watermark Watermark的关键点：...

Hadoop2.X的安装和操作 1. Hadoop的安装环境 本地模式 伪分布模式 全分布模式 2. 虚拟机配置 1、准备内容 虚拟机系统：linux即可 安装包：JDK和hadoop-2.7.3.tar.gz 2、关闭防火墙、安装JDK、设置主机名、安装Hadoop 关闭防火墙 #redhat中防火墙 systemctl stop firewalld.service （重启恢复） ...

MR的等值连接 利用MapReduce的功能，v3是相同的k2的v2的集合，这一特性，筛选出对应关系 1.程序流程 要求：得出相应部门的所有员工 根据两个表，部门表和员工表,两个表部门号相同 2.Java编程 1).Maper 要点：取出两个表的部门号作为k2，v2 部门名称+员工姓名，部门姓名加 “*”用作区分 package demo.mutiltable; impo...

分区 多个分区，有多个文件 分区类型 范围分区 列表分区 散列分区 范围-散列 范围-列表 散列分区：(Hive 桶表) 避免热库的产生MapReduce实例 　　使用MR实现一个分区：根据员工的部门号，将相同部门号的员工分到一分区 要点：在Mapper的输出创建分区 即对k2 v2进行操作 创建一个序列化对象 Employee package demo.partition;...

MapReduce 1、MapReduce原理 (先分析，在编程) 1、WordCount 2、Yarn平台调度 3、分许WordCount单词计数的数据流程 4、开发自己的WordCount程序  2、MapReduce编程 1、三种方式运行mr windows本地运行 打包成jar，上传linux 命令hadoop jar xxx windows打成jar，然后本地运行，通知...

HDFS高级功能 1、回收站 2、快照 3、配额 4、安全 5、权限管理 1、回收站 (*)补充 Oracle的回收站 恢复：闪回 Oracle 11g中有七种闪回 闪回表：flashbcak table 闪回查询：flashback query 闪回删除：flashback drop 闪回版本查询：flashback version query 闪回事务查询：flashback ...

Java的动态代理 java的动态对象是编程模式的装饰者模式 可以通过包装的方式，让函数完成不同的功能 原理 1.java代码实例 1).创建服务端接口MyServer.java,创建方法method1和method2 public interface MyServer{ public void method1(); public void method2(); } ...

Java API获取HDFS的文件信息 1).获取文件属性 环境：Windows Java API 函数：mkdir、FileStatus[]、listStatus、isDirectory @Test public void test1() throws Exception{ //配置HDFS主节点:NameNode Configuration conf = new C...

HBase的体系结构 1、主从结构： 主节点：HMaster 从节点：RegionServer 2、基于HDFS上的NOSQL数据库 HBase HDFS 表 --------> 目录 数据 ---------> 文件 主从结构的单点故障问题 ...

SSH免密登陆 1、生成密钥对 #rsa 是加密算法 ssh-keygen -t rsa 然后一路回车 2、查看生成的密钥对id_rsa.pub是公钥，id_rsa是私钥 输入 ls .ssh 输出 id_rsa id_rsa.pub known_hosts 2、将公钥发送到需要免密登陆的机器 ssh-copy-id -i .ssh/id_rsa.pub root@red...

 Java死锁分析 1、什么叫死锁(性能等待)？ 答：简单的说，就是线程互 相等待2、范例演示 Dead.java的内容如下所示 public class DeadLock {     final Object lockA = new Object();     final Object lockB = new Object();          public static vo...