关于毕设设计过程流程以及遇到问题的解决方法总结

    毕设题目是医院数据分析系统的设计与实现。需要解决的需求问题还是不少的。

    实现的思路就是用flume实现数据从本地采集到hdfs，用spark进行mapreduce操作进行数据分析，最后用echarts完成数据可视化。

     1）数据是随机生成的，一个文件大约30w条数据，一个文件大小约18.5m，idea本身设定的单个文件大小约为25m，为了简化flume上传的文件数量，尝试将两个文件进行合并，文件大小超过25m，最后idea卡死。

    2）flume文件上传的时候也遇到了文件大小的问题，通过修改dir-hdfs.conf的相关配置，完成上传。

    3）echarts中遇到的问题。echarts在可视化的时候，横坐标会很容易出现显示不全面的问题，此时，加入让字体竖着或者斜着显示的属性，就可以完成完整的可视化。