一共81个,开源大数据处理工具汇总

本文全面概述了大数据领域的关键技术,包括查询引擎、流式计算、迭代计算、离线计算、键值存储、表格存储、文件存储、日志收集系统、消息系统、分布式服务、RPC、集群管理、基础设施、搜索引擎、数据挖掘等,涵盖了从数据处理到分析的各个环节。

http://www.cnblogs.com/AloneSword/p/4874112.html

http://www.cnblogs.com/AloneSword/p/4874114.html

 

查询引擎
            一、Phoenix
            二、Stinger
            三、Presto
            四、Shark
            五、Pig
            六、ClouderaImpala
            七、ApacheDrill
            八、ApacheTajo
            九、Hive
流式计算
            一、FacebookPuma
            二、Twitter Rainbird
            三、Yahoo S4
            四、TwitterStorm
迭代计算
            一、Apache Hama
            二、ApacheGiraph
            三、HaLoop
            四、Twister
离线计算
            一、HadoopMapReduce
            二、Berkeley Spark
            三、DataTorrent
键值存储
            一、LevelDB
            二、RocksDB
            三、HyperDex
            四、TokyoCabinet
            五、Voldemort
            六、AmazonDynamo
            七、Tair
            八、ApacheAccumulo
            九、Redis
表格存储
            一、OceanBase
            二、AmazonSimpleDB
            三、Vertica
            四、Cassandra
            五、HyperTable
            六、FoundationDB
            七:HBase
文件存储
            一、CouchDB
            二、MongoDB
日志收集系统
            一、Facebook Scribe
            二、Cloudera Flume
            三、logstash
            四、kibana
消息系统
            一、StormMQ
            二、ZeroMQ
            三、RabbitMQ
            四、Apache ActiveMQ
            五、Jafka
            六、Apache Kafka
分布式服务
            一、ZooKeeper
RPC
            一、Apache Avro
            二、Facebook Thrift
集群管理
            一、Nagios
            二、Ganglia
            三、Apache Ambari
基础设施
            一、LevelDB
            二、SSTable
            三、RecordIO
            四、Flat Buffers
            五、Protocol Buffers
            六、Consistent Hashing(哈希算法)
            七、Netty
            八、BloomFilter
搜索引擎
            一、Nutch
            二、Lucene
            三、SolrCloud
            四、Solr
            五、ElasticSearch
            六、Sphinx
            七、SenseiDB
数据挖掘
            一、Mahout
Iaas
            一、OpenStack
            二、Docker
            三、Kubernetes
            四、Imctfy
监控管理
            一、Dapper
            二、Zipkin

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值