leo的大数据之路

在利用sqoop做抽取数据的同步过程中，经常发生以下错误。我们一直以为是oracle数据库没有打开或者某种连接异常，导致经常要重跑多次才能成功，甚至一度靠加入调度系统的智能重跑关键字中让任务多次重试，一直未定位到根本问题并找到解决办法（如下图），会影响调度成功率。而这次，我们临时要在新环境跑sqoop任务，只起了一个sqoop客户端，失败的概率特别高，所以找到这个问题的解决办法就显

这两天经常会收到hadoop namenode 内存使用百分比的告警，经常收到告警是一个讨厌的事情，是不是说明我们系统超负荷有问题了？怎么样解决这个问题？这两天一直在仔细查考测试这个问题，现将我的思考说明一下。1.      首先，这个告警message说的是namenode这台机器真的内存的使用百分比，其实并不太准确。事实上它不是说明机器内存用光了，而是namenode的jvm进程堆内存使用

针对今天的任务失败，做个详细的分析。这是个典型的性能调优案例：1.      先来看看这个SQL(我把中间select的所有字段有隐去，便于查看)insert overwrite table dw_user_activity partition(pt='$env.date')select……from s_user_activity awhere a.pt ='$env.date

1.这个问题不是很简单么？直接设置不久好了，java -Xmx2000m像这样不就好了。No,我说的不仅仅是这个问题，比如，你看到/usr/local/bigdata/jdk/bin/java -Xmx2048m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/usr/local/bigdata/hadoop/logs -Dhadoop.log.