【社招】数据开发面试题集锦（后慢慢补充）

因作者近期正在投递数据开发岗位，所以会在此记录一些面试过程中的问题，持续更新，直到入职新公司为止

本文总结了大数据开发常规高频面试题。后面会出，系列面试题，涉及到hive,spark离线数仓，实时flink以及kafka,es,等技术栈专项面试题。

数据库工程师面试宝典 1、为什么 UNION ALL 比 UNION 快？ 答：因为在使用 UNION 的时候，需要删除重复的记录，但是使用 UNION ALL 的时候不用删除。所以如果在知道需要 UNION 的查询不可能出现重复数据的时候，一定要使用 UNION ALL。 2、什么是唯一索引? 答：唯一索引可以确保索引列不包含重复的值。在多列唯一索引的情况下，该索引可以确保索引列中每个值组合都是唯一的。聚集索引和非聚集索引都可以是唯一的。因此，只要列中的数据是唯一的，就可以在同一个表上创建一个唯一的聚集索

1、Delete Truncate Drop 区别 delete，drop，truncate 都有删除表的作用，区别在于： 1)delete 和 truncate 仅仅删除表数据，drop 连表数据和表结构一起删除 2)delete 是 DML 语句，操作完以后如果没有不想提交事务还可以回滚，truncate 和 drop 是 DDL 语句，操作完马上生效，不能回滚， 3)执行的速度上，drop>truncate>delete truncate：释放表空间，对外显示 truncate无法通过bi

APP权限问题处理，非必要不申请，定时清理权限，源数据监控180不用权限清理。数据分级，一级、二级数据级别，数据分层规范，电话、邮箱、地址不允许存储或者加密存储。2、stage 数据倾斜，生产数据出问题，有大量空，剔除错误数据，杀掉任务。监控，dataworks工具自动报警，空、为空的比例多少、没出现过的枚举值、波动率。主要关注ETL能力、数据开发的规范、数据质量、数据安全、指标相关。多对多的方式，探查发现问题，针对预期，关联关系调整。维度表，业务驱动，时间维度、部门维度、财务维度。公共维表，DIM使用。

大数据常见面试题及答案，大部分都有涉及

前言 随着 5G 时代的到来，大数据人工智能产业链又一次迎来了井喷式的爆发，随着岗位需求的不断增加，越来越多的人选择大数据课程，但是没有真正从事大数据工作的人面对企业面试有种无从下手的感觉，面对面试说不到技术的重点，每次面试只能靠队友，靠兄弟支援，尤其是面对架构，编程更是无从下手。于是我决定对市场上大多的有关大数据核心的面试题做一个详细的分析，也希望大家尽可能的做到举一反三，而不是局限于题目本身。 1、选择题 1.1.下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtrac

一共十道关于数据库的常见面试题，都是比较容易疏忽并且面试的时候，经常会考到的面试题，文章中有详细的解释和底层原理来帮助你更好的来理解面试题！！！

大数据常见面试题

作者：三石大数据链接：文本链接确认。

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台Hdfs 是一个分布式文件系统，用来存储文件，通过目录树来定位文件Hdfs适合一次写入，多次写出的文件场景，且不支持文件的修改，适合用来做数据分析，并不适合用来做网盘应用NameNode : 管理HDFS的命名空间，配置副本策略，管理block的映射信息，处理客户端读写请求。

2021年超全超详细的最新大数据开发面试题，附答案解析

percentile：percentile(col, p) col是要计算的列（值必须为int类型），p的取值为0-1，若为0.5，那么就是2分位数，即中位数。环比：今年的4月和今年的3月相比，在同一个时间范围内，取相邻的时间节点的数据进行比较。同比：今年的4月和去年的4月相比，在两个时间范围内，取相同时间节点的数据进行比较。补充问题4 题目产品表数据量1000W 意在考查大小表关联，产生的数据倾斜。平移函数：在工作中一般用来实现数据的同比和环比的计算。LeetCode原题。

然后将结果输出到。

数据开发相关面试题整理

Shuffle reduce task 数量小于spark.shuffle .sort.bypassMerge Threadshold参数的值小于200，不开启，溢写磁盘不需要排序，小于等于的时候是开启的。面试题58：大促场景下实时链路数据积压，rps为100w，导致数据大屏不动了，上线前该如何保障，临时处理该如何操作，兜底方案该如何做？面试题73：如何解决数据建模中的一些挑战，例如复杂的业务规则、数据粒度的把控等？面试题73：如何解决数据建模中的一些挑战，例如复杂的业务规则、数据粒度的把控等？

目录1、Finereport的报表设计流程2、做报表开发，如何确保你拿到的数据时准确的3、你们用的报表工具是收费的吗？都少钱？4、做出的报表是以什么文件或者形式发给客户，客户又是通过什么方式查看报表的呢？5帆软和tableau的区别（传统bi工具和商务智能bi工具的区别）6、olap和oltp的区别 我们都是根据需求来验证的，如果计算的话，都有计算公式，我会自己先算一遍，然后通过调用函数对比计算结果。如果是存储过程的话，我会根据需求中的取值逻辑和判断，验证一下取值是否正确这方面我不太清除，都是公司统一采购的