基于Hive的河北新冠确诊人数分析系统的设计与实现

项目描述

临近学期结束，还是毕业设计，你还在做java程序网络编程，期末作业，老师的作业要求觉得大了吗?不知道毕业设计该怎么办?网页功能的数量是否太多?没有合适的类型或系统?等等。这里根据疫情当下，你想解决的问题，今天给大家介绍一篇基于Hive的河北新冠确诊人数分析系统的设计与实现。

功能需求

首先要采集数据，采用脚本定时采集的那种，用java程序，先转化为用tab键分割的文本数据，然后导入hive中；
其次是在hive中对导进来的数据进行处理过滤，再建几个表，把处理结果存到新建的表里，然后把hive处理结果的数据表导入mysql中；这样做完一次后，开始写脚本，每隔一天采集一次数据，hive处理数据一次，mysql统计数据一次；
接着就是编程，用ssm框架连接到mysql，对数据用javaBean进行封装，用mvc模式将部分数据显示到前台页面；
最后用echarts对封装的数据进行数据可视化，可以做成条形图，折线图，饼图，气泡图，地图等可视化图标。

数据清理流程：

1. 首先执行GetData.jar写好的程序获取数据，会自动生成txt数据文件在/home/kt/devHive/data文件夹里面
2. 然后执行导入数据到建好的hive表里面的脚本
3. 接着执行sql，sql会执行clean.sql里面的加工数据的hql语句，会将清理好的数据导入Ed的清洁hive表中
4. 接着执行hiveToMySql.sh，将Ed表里面的清洁数据用sqoop导入对应的MySQL表中（会清空 *Ed 的所有数据）