zbz1006572352的博客

JMX RMI Server 和Client的使用,完整代码

hql语句转mapreduce整个编译过程分为六个阶段：（参考美团技术团队） 1.Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树ASTTree 2.遍历AST Tree，抽象出查询的基本组成单元QueryBlock 3.遍历QueryBlock，翻译为执行操作树OperatorTree 4.逻辑层优化...

hql语句转mapreduce整个编译过程分为六个阶段：（参考美团技术团队）1. Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树ASTTree2. 遍历AST Tree，抽象出查询的基本组成单元QueryBlock3. 遍历QueryBlock，翻译为执行操作树OperatorTree4. 逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量。

命令如下 netstat -anp | awk '{print $7}' |sort | uniq -c | sort -k1 -nr

1.regexp_replace 先看下官网定义： 返回值 函数格式 解释 string regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT) Returns the string resulting from replacing ...

spark Interpreter简介 http://zeppelin.apache.org/docs/latest/interpreter/spark.html 建议大家看官网地址。 Name Class Description %spark SparkInterpreter Creates a SparkContext and provides a Scala environment %spark.pyspark PySparkInterpreter P

1.zeppelin下载 目前zeppelin的版本有最新的是预发版的0.9。出于稳定性考虑，选择2019年就已经发行的zeppelin-0.82. wget https://mirror.bit.edu.cn/apache/zeppelin/zeppelin-0.8.2/zeppelin-0.8.2-bin-all.tgz tar -zxvf ./zeppelin-0.8.2-bin-all.tgz cdzeppelin-0.8.2-bin-all cp conf/zeppelin-env...

注意： libc.so.6 这个千万不能升级！！！ libc.so.6 这个千万不能升级！！！ libc.so.6 这个千万不能升级！！！ 升级了会导致linux很多命令无法使用 回滚操作： 如果你和我一样，看了网上一堆升级文章。改了/lib64/libc.so.6 这个软连接。不要乱动。不要退出这个ssh 登录会话。 往下看： 翻查历史，凭借记忆，明确刚才改的链接是哪个？ 比如我就是执行了这个命令,把libc-2.12.so 升级到libc-2.17.so ln -sf/usr/lo.

简介 tcpkill 工具，顾名思义，用来杀死指定的tcp连接。是dsniff的一个小模块。 dsniff是一个非常有名的被动监听的网络嗅探工具，用于渗透测试，信息抓取等，都是网络黑客大佬们使用。我也不懂，单纯就是介绍下tcpkill模块。重点放在cpdump(8) filter expression。 dsniff 下载地址：https://monkey.org/~dugsong/dsniff/ tcpkill 过滤表达式语法地址：https://www.tcpdump.org/manpages/

1.版本介绍 cdh 5.16.2 Uber模式虽然在hadoop2.X版本提供，但是使用的人并不多，默认是关闭的。 那么启用它有什么优点？ Uber模式只会向RM申请一个Container，这个Container里会启用AM，接着本任务的所有mapreduce计算都会在该Container内完成，不需要AM向RM申请其他Container。 简单理解，就是针对于小数据量的计算，都在一个...

版本描述： hive1.1.0-cdh5.16.2 sqoop 1.4.7 结论： 通过如下语句修改分隔符，(网上很多文章只修改了一处，无法识别sqoop过来的数据) #修改分隔符为逗号 , ALTER TABLE table_name SET SERDEPROPERTIES ('field.delim'=',' , 'serialization.format'=',');...

结论：（测试版本hive 1.1.0-cdh5.16.2） join时如果关联字段值为null，则该行数据放弃，不会和其他表进行关联 join时如果关联字段值为空字符串，视为正常数据，会和其他表关联字段也为控制字符串的数据进行关联 测试如下： create table tmp.test20200409_1 (id int,name string); create table tmp....

1.背景描述 flumehttpresource作为我司数据上报的核心服务，为了保证稳定运行，及时发现异常，要求接入异常日志监控。我作为唯一的一个大数据运维，考虑将日志异常信息接入钉钉机器人告警。 由于java水平堪堪自慰，用linuxbashshell写又过于麻烦，各种过滤规则，想想就头大，想起了日志搜索神器TLK，反正以后还需要接入，借此机会就研究下。目前要求比较简单，用不到ES...

背景描述 cdh版本5.16.2，sentry+hive+hue，启用notebook 由于在集成sentry后，hue上的账号需要分离，原有用户hdfs的notebook需要迁移到其他的新用户。 登陆老用户的账户 可以直接使用hue界面的export功能,一次性导出所有notebook,如图 登陆新账户的用户,导入上一步下载的json文件,如图 一切看起来很顺利，但是在新用户...

经常下载rpm，parcel各种包，什么el6,precise,sles,wheezy被各种后缀搞得有点头疼，百度嘛也没有，就自己写个，百度搜起来就方便了。 linux操作系统有哪些？ Fedora UI做的很好看，自由，开源，面向高手 Redhat （RHEL ：Red Hat Enterprise Linux）商用，不开源,性能稳定，收费 CentOS 基于redhat，开源...