香宝的私房小厨

一个简单使用的重启脚本#! /bin/bashecho 'begain kill xxx-0.0.1-SNAPSHOT'ps -ef | grep xxx-0.0.1-SNAPSHOT | grep -v grep | awk '{print $2}' | xargs kill -9echo 'begain restart xxx-0.0.1-SNAPSHOT'sleep 2nohup java -jar xxx-0.0.1-SNAPSHOT.jar >nohup.out 2>..

最近研究了下公司的hadoop集群并模仿搭建了一个在本地测试使用的hadoop集群。本文介绍下详细的搭建过程以及各种常见问题的处理解决。1 , 前期准备 1.0 , 准备Linux环境。安装vmware linux虚拟机，因为Centos 7 和Centos 6版本部分命令差别还挺多了，所以我本次用的Centos 6版本，用什么你随意，高兴就...

每次我们启动hadoop集群的时候是不是要一个劲的重复输入密码，要是集群很多的话岂不是太麻烦了，这篇文章介绍如何设置hadoop集群的免密码登陆。1 ，启动两台虚拟机 一台主机名叫 redis110 , 另一台叫wanghc110 ，如果我们想从 redis110上登陆wanghc110的话，会让我们输入密码如图： （如果不清楚主机名怎么修改的话看这里）编辑如...

搭建springcloud config组件的时候，如果发现启动 config service 服务正常，而 config client 服务启动报错：java.lang.IllegalArgumentException: Could not resolve placeholder '***' in value "${****}出现该错说找不到配置文件中的 *** 属性。这个时候首先考虑如下几个问题，看下你的代码中是否存在如下问题：1：github上的配置文件的名字构成必须是: {appl.

在 系统键 + R 中输入cmd, 然后输入你的 python安装目录;%PATH% 即可， 例：set PATH=C:\Users\mrwanghc\Python39;%PATH%

kafka结合spark-streaming的用法及说明之前博客有些，这里就不赘述了。这篇文章说下他们结合使用的两种连接方式。(AWL与直连)先看一张图：这是kafka与streaming结合的基本方式，如图spark集群中的 worker节点中 exeutor线程里的 receiver接口会一直消费kafka中的数据，那么问题来了，假如我们定义5秒消费一次，如果spark集群定义了每...

1，启动zk集群（如何搭建不解释，之前文章有详解）在每台机器上执行启动命令：bin/kafka-server-start.sh config/server.properties2，创建kafka的 topic话题（如何搭建kafka不解释，之前文章有详解）bin/kafka-topics.sh --create --zookeeper 192.168.2.201:2181 --r...

在实际生产工作环境中，spark streaming经常和flume或者kafka整合在一起使用，本片文章说下与flume整合过程。常用的整合方式有两种，一种是push类型，一种是poll类型，在实际分布式生产环境下，我们使用poll类型，也就是由spark streaming向flume拿数据，push类型是flume向streaming 送数据。我们这里只说下poll类型的整合方式。1...

1，引用一段官网介绍spark Streaming是Spark core API的扩展，支持实时数据流的处理，并且具有可扩展，高吞吐量，容错的特点。数据可以从许多来源获取，如Kafka，Flume，Kinesis或TCP sockets，并且可以使用复杂的算法进行处理，这些算法使用诸如map，reduce，join和window等高级函数表示。最后，处理后的数据可以推送到文件系统，数据库...

Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。1, 为什么要学习Spark SQL我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运...

实际工作上很少在虚拟机上直接使用spark-shell去编写程序，更多的是在IDEA等编辑器上将写好的程序打包，使用spark-submit提交到集群上去执行。我们使用scala去编写程序，不会的自己百度学下，不解释。1，安装jdk 因为scala也是运行在jvm上的，所以需要安装jdk。（jdk安装方法不解释，自己百度,建议安装1.7以上版本）2，安装scala笔者安装的...

介绍写如何将hive整合到sparkSql中使用，因为公司一些老hadoop框架中的hive一直保留着，但spark框架也要使用hive怎么办呐，很简单，配置文件搞一下就可以了。（注意hive和spark的版本是有对应关系的，去官网查下，下载对应的hive和spark，否则启动会报错。1，配置文件在spark的conf目录中添加hdfs-site.xml 和 hive-site.xml...

实际生产中会搭建spark ha集群，本地测试的话整个单机的就行了。这里我们先介绍下单机如何配置，然后再在他基础上搭建高可用HA集群。单机版配置 ： master=weekend01 , works = weekend03,weekend04,weekend051，下载安装/spark-x.x.x-bin-hadoopx.x jar包到weekend01上。（不解释，自己弄一个）2,...

1. spark简介Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。2. RDD简介RDD（Resilient Distributed D...

1，搭建启动hadoop HA集群，之前文章有详细的搭建过程。启动HDFS(在weekend01上执行)sbin/start-dfs.sh找一个文件上传到自定义hdfs目录下面启动spark shell 交互命令行（在weekend02 启动）bin/spark-shell --master spark://weekend02:7077 --executor-memory ...

1，前置条件：（这些清参考之前文章） 1，安装好zk集群，安装好kafka集群 (准备三台weekend01,weekend02,weekend03) 2，安装好Flume2、创建flume配置文件cd /usr/app/apache-flume-1.6.0-bin/confmkdir myconfvi exec.conf输入以下内容： a1.sources = r1a1.chan...

strom整合kafka关键就是以strom中的spout当作kafka的消费者来接收生产者传入的数据。画一个简单的图：好了，接下来我们直接上代码！1，先写一个main方法，作为消费者来接受生产者数据。package cn.itcast.storm.topology;import storm.kafka.BrokerHosts;import storm.kafka.KafkaSpout;i...

1, 先写下生产者java代码运行之，然后在虚拟机上启动一个topic，紧接着用在虚拟机上写一个消费者去拿数据。生产者java代码 ：package cn.itcast.kafka;import java.util.Properties;import kafka.producer.KeyedMessage;import kafka.producer.Producer;import kaf...

1 为什么要使用Storm？Apache Storm是一款免费且开源的分布式实时计算系统。Storm可以轻松地可靠地处理无限数据流，从而实时处理Hadoop进行批处理的操作。Storm很简单，可以与任何编程语言一起使用，并且使用起来非常有趣！Storm有许多用例：实时分析，在线机器学习，连续计算，分布式RPC，ETL等等。Storm速度很快：基准测试表明，每个节点每秒处理超过一百万个元组。它具有可...