离线数据处理任务二：数据清洗

原创已于 2023-10-10 17:43:26 修改 · 4.2k 阅读

标签

#hive #hadoop #数据仓库

收录于

于 2023-04-06 21:54:11 首次发布

大数据离线、实时处理笔记资料专栏收录该内容

12 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何使用Scala编写Spark工程代码，将Hive中的ods库数据全量抽取到dwd库中，涉及数据清洗、合并、分区处理，并通过Hive CLI展示具体操作，如用户信息、商品信息、区域信息和订单信息的处理。

hive数据库和表的创建

给dim添加最新状态记录

任务

接着上一篇数据抽取的任务继续需用到上篇ods数据抽取的数据继续练习

hive数据库和表的创建

1、创建dwd数据库

create database dwd;

2、创建dim_user_info 表，分区字段etl_date

CREATE TABLE `dim_user_info`  (
  `id` bigint,
  `login_name` string,
  `nick_name` string,
  `passwd` string,
  `name` string,
  `phone_num` string,
  `email` string,
  `head_img` string,
  `user_level` string,
  `birthday` timestamp,
  `gender` string,
  `create_time` timestamp,
  `ope

了解本专栏