本文介绍了如何使用Spark兼容Hive进行开发，强调了需要在构建Spark时添加特定标志以包含Hive支持，并指出Hive的相关配置文件和库需要在所有worker节点上可用。此外，还分享了作者的本地实验过程，包括启动HDFS、Spark和MySQL，以及在Spark shell中创建和验证Hive表的操作，证明了Spark成功连接并操作了Hive数据。
最近使用spark兼容hive进行开发，所以静下心来简易的看了一遍。个人感觉有关与技术学习去官网是最正确的选择。所以我从官方网站入手开始讲，其他详细内容我不做过多介绍，这里直接开门见山。
官方网站有如下两点很重要：
Spark SQL also supports reading and writing data stored in Apache Hive. However, since Hive has a large number of dependencies, it is not included in the default Spark assembly. Hive support is enabled by adding the -Phive and -Phive-thriftserver flags to Spark’s build. This command builds a new assembly jar that includes Hive. Note that this Hive assembly jar must also be present on all of the worker nodes, as they will need access to the Hive serialization and deserialization libraries (SerDes) in order to access data stored in Hive.
spark sql同样可以支持读取并且写入到hive中数据。然而，由于hive拥有许多依赖，hive并没有被包含在默认的组件里面。hive插件可以通过增
扫一扫
2890
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
