CDH平台的安全认证方案

总体解决方案 基于apache Ranger开源项目源代码进行二次开发，实现支持CDH集成的Ranger安全管理系统。另外需要在CDH管理界面上配置部分参数。 本文档经过测试验证的CDH和ranger版本： CDH版本：6.3.2 Apache Ranger版本：2.0.0 一、ranger插件公共模块agent-common修改 1、配置文件处理 问题描述： C...

CDH6.3.2-组件安装&安全认证

当平台用户使用量少的时候我们可能不会在意集群安全功能的缺失，因为用户少，团队规模小，相对容易把控，开发人员直接也彼此了解。这时候只需要做好团队内部或是企业通过一些列行政管理手段就能管理好集群的安全问题。但是别忘了我们的平台定位可是作为一个单一的大数据来支持企业内部所有应用的。正所谓人上一百，形形色色。当平台用户达到一定数量之后其素质难免会参差不齐，大数据平台面对的也不再是一个小团队了。这时候靠团队...

Apache Sentry是Cloudera公司发布的一个Hadoop开源组件，2016年3月成为Apache顶级项目。Sentry是一个基于角色的粒度授权模块，提供了对Hadoop集群上经过身份验证的用户提供了控制和强制访问数据或数据特权的能力。Kerberos+Sentry

Sentry安装 1、cm中选择添加服务，选择sentry 2、选择要安装sentry的主机 3、配置数据库 HDFS配置 开启启动访问控制列表，选中打勾 开启检查HDFS权限服务 开启sentry服务 hive配置 修改hive配置参数，搜索sentry-site 添加参数 搜索sentry，sentry服务选择sentry 搜索Hive Impersona...

是一种基于内存的分布式并行计算框架，不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Hive是CDH中的一个数据仓库工具，它提供了类似于SQL的查询语言（HiveSQL），它可以将结构化的数据映射到Hadoop集群中的文件，并支持高性能的数据查询和分析。供的信息包括主机上的CDH版本、主机所属的集群、 运行在主机上的角色的数量。CM管理的集群中，只能使用CM进行角色进程的启停。

CDH CDH是Cloudera的100％开放源代码平台发行版，包括Apache Hadoop，是专门为满足企业需求而构建的。CDH可立即提供企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成在一起，Cloudera创建了功能先进的系统，可以帮助您执行端到端的大数据工作流程。 CDH中的重点项目 为什么需要CDH？ 大致提出一个问题，假如公司要求给500台机器，...

CDH详解，从小白到精通

Cloudera Manager Cloudera Manager 分为两个部分：CDH和CM。 CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。 CM是cloudera manager的简称，是CDH的管理平台，主要包括C

每当通知断电的时候，我们都需要手动去关闭集群环境，来电的时候手动开启集群，正确操作就显得尤为重要；

为数据节点添加新硬盘 - 挂载硬盘到指定文件夹。如`/dfs_diskb`； - 打开cloudera manager -> hdfs -> 配置 -> DataNode -> DataNode Default Group,添加新硬盘所挂载的目录，注意节点所在群； - 重启hdfs服务。 hdfs数据平衡 在主节点（其它节点未测试）执行命令:sudo -u hdfs hd...

集群规模取决于用户数据及应用需求，最终规划值为以下各种计算方式得出的最小集群规模的最大值・容量需求– 估算相对容易且准确– 大多数案例可以通过容量来决定集群规模・计算需求– 准确的估算计算资源只能通过小规模测试并合理估算・其他资源限制– 如用户 MapReduce 应用可能对内存等资源有特殊要求，且单节点可配置资源相对有限，则集群最小规模需满足用户此类资源要求・建议使用万兆网络或更高速度网络– 如要充分利用磁盘并行操作带宽，至少需要万兆网络。

大家好，我是小轩

在整个中通大数据平台中，最核心的是Hadoop基础平台，因为所有的快递数据都是保存在其中，因此，Hadoop的稳定和高效是最核心的。2021年我们去除了cloudera manager的依赖，自主研发了一套监控和运维hadoop的程序。2022年，经过不懈的努力，我们完成了apache hadoop 2.7.5的升级。

1 文档编写目的 做Hadoop应用开发的过程中，用户会有这样的需求，在同一个Java应用中同时访问安全和非安装的CDH集群。同一个Java应用即同一个进程同一个JVM，由于一些全局的变量可能会导致无法同时访问安全和非安全的集群。本篇文章Fayson介绍下如何使用Java代码同时访问安全和非安全的CDH集群。 内容概述 1.环境准备 2.示例代码准备及运行验证 3.总结 测试环境 1.Re...

一，简介 大数据平台安全体系的四个层次说起：外围安全、数据安全、访问安全以及访问行为监控。 外围安全技术多指传统意义上提到的网络安全技术，如防火墙，登陆认证等； 数据安全从狭义上说包括对用户数据的加解密，又可细分为存储加密和传输加密；还包括用户数据的脱敏，脱敏可以看做“轻量级”的数据加密。如某人的生日为“2014-12-12”，脱敏后的数据为“2014-x-x”。数据的轮廓依然存在，但已...

随着等保2.0时代的到来，技术和管理要求的也在不断的加强。下面就和大家分享网络安全等级保护基本要求的四个安全要点：1、网络与通信安全网络架构：应当根据网络区域不同进行划分，并以方便管理和控制的原则替各网络区域分配地址；访问控制：应当根据访问控制策略设置访问控制规则在网络边界或区域之间，设置默认除允许通信外受控接口拒绝所有通信；根据会话状态信息为进出数据流提供明确的允许/拒绝访问的能力；通信传输：应...

1 基本介绍 1.1 概述 Hadoop的发行版本有很多，有华为发行版，Intel发行版，Cloudera发行版（CDH），MapR版本,以及HortonWorks版本等。所有发行版都是基于Apache Hadoop衍生出来的，产生这些版本的原因，是由于Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布和销售。 收费版本： 收费版本一般都会由新的特性。国内绝大多数公司发行的版本都是收费的，例如Intel发行版本，华为发行版本等。 免费版本： 不收费的版本...

前言： 最近公司在做安全漏洞扫描。发现cdh zookeeper存在未授权访问的问题。 ZooKeeper的节点有5种操作权限： CREATE、READ、WRITE、DELETE、ADMIN 也就是 增、删、改、查、管理权限，这5种权限简写为crwda(即：每个单词的首字符缩写) 注：这5种权限中，delete是指对子节点的删除权限，其它4种权限指对自身节点的操作权限 ZooKeeper的身份的认证有4种方式： world：默认方式，相当于全世界都能访问 auth：代表已经认证通过的..