邢为栋

Chat2DB 是一款有开源免费的多数据库客户端工具，支持windows、mac本地安装，也支持服务器端部署，web网页访问。和传统的数据库客户端软件Navicat、DBeaver 相比Chat2DB集成了AIGC的能力，能够将自然语言转换为SQL，也可以将SQL转换为自然语言，可以给出研发人员SQL的优化建议，极大的提升人员的效率，是AI时代数据库研发人员的利器，未来即使不懂SQL的运营业务也可以使用快速查询业务数据、生成报表能力。也支持docker部署，部署方式详见。

NiFi数据流实践：实时获取Mysql CDC数据，写入HDFS/Hive。NiFi版本：1.22.0。NiFi官方文档提供了详细的概念说明和使用说明，耐心通读一遍，就可以快速上手开发NiFi数据流。

在日常工作中，经常要通过ssh连接远程服务器，每次连接都输入密码，会比较麻烦。在Window系统上，我习惯使用xshell管理连接，非常方便。在MacOS系统上，没有xshell，而一些类似xshell的工具中，好用的要收费，免费的不好用，于是决定使用iTerm2打造一个好用的ssh神器，提高日常工作效率。话不多说，直接上干货。使用iTerm2打造ssh神器，主要是通过Profiles功能，每个Profile对应一个ssh连接，然后打开Profile，就可以连接远程服务器。

分析数据时，发现一个表的数据有异常，排查发现2023-02-23和2023-05-23两个分区的数据在2023-05-27日被更新了。这张表的源表经常会更新历史数据，在hive中的更新方式是读取分区全部数据，进行数据更新，然后再重写分区数据。日志解读：在执行sql时，使用了mapjoin优化，启动了MapredLocalTask，上传mapfile成功后，出现redirector thread I/O错误。

Hive提供了分析表和分区的功能，可以将分析后的统计信息存入元数据中，该功能可以自动执行分析表或手动执行分析表。自动执行分析主要针对新创建的表，可以通过配置启用，配置说明详见。Hive默认启用表级别的统计信息收集，在DML（除了LOAD DATA语句）操作期间，自动收集并更新统计信息。默认不启用列级别的统计信息收集。手动执行分析StatsDev。

在使用clickhouse时，使用了alter查询的delete和update操作进行数据的删除和更新，当大量使用这类操作时，造成clickhouse服务无法连接，观察日志发现，出现了大量mutation的操作，严重占用clickhouse资源。经过研究，发现ALTER DELETE和UPDATE表数据的实现机制是mutations。对于MergeTree表，mutations机制的操作会重写整个数据块（rewriting whole data parts），所以是一个重操作，会严重占用服务资源。

在开发一个功能或者修复一个bug时，有时会commit多次代码，这时为了commit历史的完美，会想将多个commit合并为一个，想要实现这个目标，就需要用到 ，下面记录操作方法，留作笔记。

使用spark读取hive表时，发生如下错误：Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=xingweidong, access=READ_EXECUTE, inode="/user/hive/warehouse/ads_seer.db/user_action_from_xyio/dt=2020-12-

https://www.rootusers.com/how-to-clear-the-sssd-cache-in-linux/#:~:text=The%20SSSD%20cache%20can%20easily,specified%20records%20from%20the%20cache.https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/deployment_guide/sssd-cache

本文描述CDH6.3.2集群安装Sentry及配置。参考：https://docs.cloudera.com/documentation/enterprise/6/latest/topics/sentry.html操作系统：Centos7.8。安装Sentry安装要求集群实现Kerberso认证。当然不启用Kerberos也能用，不过不建议。安装使用mysql作为Sentry数据库，确保已执行以下命令：CREATE DATABASE sentry DEFAULT CHARACTER SET

Java连接HBase的方法，包含Kerberos认证。代码示例：package com.example.hbase.admin;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hba

Hive支持使用HDFS之外的存储系统作为底层存储系统，其中官方明确支持HBase，Kudu，Druid和JDBC(MySQL等)。Hive提供了相应的接口 StorageHandlers，用以实现和其他存储系统的整合。本人整理的已有相应实现的其他存储系统有：Phoenix HBase，MongoDB，ElasticSearch等。本文主要讨论Hive整合HBase在使用上的一些关键内容，更详细的内容请参考 HBaseIntegration 。介绍Hive整合HBase之后，可以通过Hive QL语

在使用Maven构建中，使用仓库镜像，可以加速构建，这里介绍仓库镜像使用方法，留作笔记。

现在已经很少开发Java了，Maven用的也少，已经忘得差不多了，但是在工作中不可避免需要开发一些。生产用的大数据平台使用的是CDH6.3.2，在开发时需要在Maven中引入Cloudera的一些依赖包，这时就需要配置Cloudera仓库。本文记录配置过程，以作备忘。配置Cloudera仓库，编辑pom文件，添加如下内容：<repositories> <repository> <id>cloudera</id> <ur

NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。本文介绍NiFi处理器之一 ：GenerateFlowFile。描述创建流文件，流文件的内容是随机数据或者自定义内容。该处理器...

NiFi是一个数据处理和分发系统，其中一部分是控制器服务(Controller Services)。控制器服务提供一项功能，可以被处理器使用。本文介绍NiFi控制器服务之一 ：DBCPConnectionPool。描述提供数据库连接池服务。可以从池中请求连接并在使用后返回。属性这里只介绍我使用过的配置：名称默认值允许值描述提示Database Connecti...

NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。本文介绍NiFi处理器之一 ：PutSQL。描述执行SQL UPDATE或INSERT命令。传入的FlowFile的内容应该是...

NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。本文介绍NiFi处理器之一 ：InvokeHTTP。描述可以与可配置的HTTP端点交互的HTTP客户端处理器。目标URL和HT...

NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。本文介绍NiFi处理器之一 ：ConsumeKafka。描述ConsumeKafka可以从Kafka中消费信息，在NiFi 1...

NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。本文介绍NiFi处理器之一 ：PutHDFS。描述写FlowFile数据到Hadoop Distributed File Sy...