Hive_1. 数据存储 & 压缩

   

    

     

      

       

        你需要将Avro的schema复制到HDFS上, 并创建一个目录包含一些 Avro 股票记录的示例:
       
      
     
    
   

$ hadoop fs -put $HIP_HOME/schema schema
$ hadoop fs -mkdir stock_hive

$ hip hip.ch3.avro.AvroStockFileWrite \
    --input test-data/stocks.txt \
    --output stock_hive/stocks.avro

为了解析Avro格式的数据，我们可以在Hive建表的时候用下面语句：
需要注意的是，以下创建表的格式是 Hive 通用的格式，但是在 Hive 0.14 及以后的版本里，在DDL语句中可以直接使用"STORED AS AVRO" 来指定表为Avro格式。AvroSerDe 会根据 Hive 表的Schema 来创建适合的 Avro Schema。这大大增加了 Avro 在 Hive 中的可用性。
详细请参考：https://cwiki.apache.org/confluence/display/Hive/AvroSerDe
2.1 在定义中指定 schema

Time taken: 0.076 seconds


   

    
hive> describe tweets;
   
   

    
OK
username            	string              	from deserializer   
tweet               	string              	from deserializer   
timestamp           	bigint              	from deserializer
   

将avro.schema.literal中的 schame 定义存放在一个文件中，比如：twitter.avsc

hive> describe tweets;

OK
username            	string              	from deserializer   
tweet               	string              	from deserializer   
timestamp           	bigint              	from deserializer

   

    

   
   

    AvroSerDe 实际上支持4种方法来为 Avro Tasble 定义一个 Schema：  (详细参考：https://cwiki.apache.org/confluence/display/Hive/AvroSerDe.)
    
Use avro.schema.url  -- 如上例 2.2
Use schema.literal and embed the schema in the create statement
Use avro.schema.literal and pass the schema into the script -- 如上例 2.1
Use none to ignore either avro.schema.literal or avro.schema.url
   

你可以通过 Describe 关键词来查询一个 Hive 表的 Schema :

   

    hive> describe stocks;
   
   

    symbol                  string
   
   

    date                    
    string
   
   

    open                    
    double
   
   

    high                    
    double
   
   

     
   
   

    low                     
    double
   
   

    close                   
    double
   
   

    volume                  
    int
   
   

    adjclose                
    double
   

运行一个 query 来确认是否完成了，可以通过如下的 Hive Query Language (HiveQL) 来记录每个股票代码的数量 -- stock symbol:

   

    hive> 
    SELECT 
    symbol, 
    count
    (*) 
    FROM 
    stocks 
    GROUP 
    BY 
    symbol;
   
   

    AAPL    10
   
   

    CSCO    10
   
   

    GOOG    5
   
   

    MSFT    10
   

hive> select distinct(symbol) from parquet_stocks;
AAPL
CSCO
GOOG
MSFT
YHOO

You can use the same syntax to create the table in Impala.

   

    hive> 
    SET 
    hive.
    exec
    .compress.
    output
    =
    true
    ;
   
   

    hive> 
    SET
     
    avro.
    output
    .codec = 
    snappy
    ;
   
   

    

   
   

    hive> 
    CREATE 
    TABLE 
    google_stocks
   
   

      
    COMMENT 
    "An Avro stocks table containing just Google stocks"
   
   

      
    ROW FORMAT SERDE 
    'org.apache.hadoop.hive.serde2.avro.
    AvroSerDe
    '
   
   

      
    STORED 
    AS
   
   

      
    INPUTFORMAT
   
   

        
    'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
   
   

      
    OUTPUTFORMAT
   
   

        
    'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
   
   

      
    TBLPROPERTIES (
   
   

          
    'avro.schema.url'
    =
    'hdfs:///user/YOUR-USERNAME/schema/stock.avsc'
   
   

        
    );
   
   

    OK
   
   

     
   
   

    hive> 
    INSERT 
    OVERWRITE 
    TABLE 
    google_stocks
   
   

        
    SELECT 
    * 
    FROM 
    stocks 
    WHERE 
    symbol = 
    'GOOG'
    ;
   
   

    OK
   
   

     
   
   

    读取新表数据：
   
   

    hive> 
    select 
    * 
    from 
    google_stocks limit 5;
   
   

    OK
   
   

    GOOG 2009-01-02 308.6 321.82 305.5 321.32 3610500 321.32
   
   

    GOOG 2008-01-02 692.87 697.37 677.73 685.19 4306900 685.19
   
   

    GOOG 2007-01-03 466.0 476.66 461.11 467.59 7706500 467.59
   
   

    GOOG 2006-01-03 422.52 435.67 418.22 435.23 13121200 435.23
   
   

    GOOG 2005-01-03 197.4 203.64 195.46 202.71 15844200 202.71