我是一个小学生

问题导读1、如何让log4j直接输出日志到flume？2、如何写一个简单的测试类来测试呢？3、如何看到log4j的日志是否输出到了flume中？log4j.properties配置：log4j.rootLogger=INFOlog4j.category.com.besttone=INFO,flumelog4j.append

jdk1.7.48 +flume 1.6.0即可

前言美团是数据驱动的互联网服务，用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志，这些日志数据将被汇总处理、分析、挖掘与学习，为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据支持。大数据处理渗透到了美团各业务线的各种应用场景，选择合适、高效的数据处理引擎能够大大提高数据生产的效率，进而间接或直接提升相关团队的工作效率。美团最初的数据处理以Hive SQL为主，底层计算引擎

1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好，直接抄原文了)：Ø  Row-based storage stores atable in a sequence of rows.Ø  Column-based storage stor...

1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好，直接抄原文了)：Ø  Row-based storage stores atable in a sequence of rows.Ø  Column-based storage stor...

CAP原理中，有三个要素：一致性(Consistency) 可用性(Availability) 分区容忍性(Partition tolerance)CAP原理指的是，这三个要素最多只能同时实现两点，不可能三者兼顾。因此在进行分布式架构设计时，必须做出取舍。而对于分布式数据系统，分区容忍性是基本要求，否则就失去了价值。因此设计分布式数据系统，就是在一致性和可用性之间取一个平衡。对于大多数w...

1)原子性(Atomic)：事务中各项操作，要么全做要么全不做，任何一项操作的失败都会导致整个事务的失败；2)一致性(Consistent)：事务结束后系统状态是一致的；3)隔离性(Isolated)：并发执行的事务彼此无法看到对方的中间状态；4)持久性(Durable)：事务完成后所做的改动都会被持久化，即使发生灾难性的失败。通过日志和同步备份可以在故障发生后重建数据。  ...

一、大白话解说,用生活中的例子来说明：小饭店原来只有一个厨师，切菜、洗菜、备料、炒菜、全干。后来客人多了，厨房一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜（两个厨师都能切菜、洗菜、备料、炒菜、），两个厨师的关系是集群。为了让厨师专心炒菜，把菜做到极致，再请了个配菜师负责切菜，备菜，备料 ...  厨师和配菜师的关系是分布式。一个配菜师也忙不过来了，又请了个配菜师，两个配菜...

一日凌晨，手机疯狂报警，短信以摧枯拉朽之势瞬间以百条的速度到达，我在睡梦中被惊醒，看到短信的部分内容如下：Caused by: java.lang.OutOfMemoryError: unable to create new native thread at java.lang.Thread.start0(Native Method) at java.lang.Thread.s

（四）JUnit测试套件使用及参数化设置        这篇笔记记录JUnit测试套件的使用，即批量运行测试类；以及JUnit中的参数化设置。        @RunWith　　当类被@RunWith注解修饰，或者类继承了一个被该注解修饰的类，JUnit将会使用这个注解所指明的运行器（runner）来运行测试，而不是JUnit默认的运行器。1.JUnit测试套件     

（三）运行流程及常用注解        这篇笔记记录JUnit测试类运行时，类中方法的运行顺序；以及JUnit中常用的注解。1.JUnit的运行流程1.1 新建测试类        右键被测试类，新建一个测试类。弹出框中，首先改变测试类所在的代码目录，然后勾选4个方法：1.2 修改测试类代码如下：[java] view plain copy

（二）JUnit使用注意点及测试失败的两种情况        看了慕课网的JUnit视频教程：http://www.imooc.com/learn/356，总结笔记。        这篇笔记记录JUnit使用的一些注意点，或者说约定俗成的地方；以及介绍了导致测试失败的两种情况。1.JUnit使用的最佳实践        ①测试方法上必须使用@Test进行修饰        ②测

（一）JUnit概述及一个简单例子        看了慕课网的JUnit视频教程：http://www.imooc.com/learn/356，总结笔记。        这篇笔记记录JUnit的概述，以及一个快速入门的例子。1.概述1.1 什么是JUnit        ①JUnit是用于编写可复用测试集的简单框架，是xUnit的一个子集。xUnit是一套基于测试驱动开发的

所用技术：Bootstrap、flat-ui 、 Servlet、Spark1.4.1、Hadoop2.6.0、JDK说明：本系统不涉及ssh相关内容，只有简单的Servlet和JSP、HTML页面，系统架构相对简单。系统部署：1. 拷贝spark-assembly-1.4.1-hadoop2.6.0.jar到WebContent/WEB-INF/l

Elasticsearch简介*Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。但是Luce

直接来一段英文看Many people new to Lucene and Solr will ask the obvious question: Should I use Lucene or Solr?The answer is simple: if you're asking yourself this question, in 99% of situations, wha

是一个开放源代码的全文检索引擎工具包。但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。文字修饰的优雅而美丽没用：程序员能听懂的白话解释：lucene是用java语言编写

数据库Sharding的基本思想和切分策略本文着重介绍sharding的基本思想和理论上的切分策略，关于更加细致的实施策略和参考事例请参考我的另一篇博文：数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示 一、基本思想      Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上，从而缓解单一数据库的性能问题。不