大数据工程师

大数据职位要求:

熟悉java python语言 标准SQL语言
使用过开源hadoop/hive分布式大数据处理平台，熟悉mapReduce/spark开发框架
熟练掌握storm或spark流计算开发技术，熟悉hbase数据库


大数据开发所需要的能力:

硬件OS网络数据库的基础知识
大数据平台和组件涉及范围广，各种都需要懂一点，对写出正确的，高质量的代码非常有用。

语言开发能力
最少需要熟练掌握java和Hive及SQL,如果需要用Spark，还需要掌握Scala。


大数据组件知识
设计思想，适用范围，底层架构，常用命令，API或语句的用法，常见问题调试方法，这一部分真正决定了一个人的水平高低。



大数据开发的工作职责:
宏观层面上来说，大数据开发和传统的软件开发人员的工作性质没有多大差别，都需要参与需求分析，概要设计，详细设计，编码，测试，交付，维护等多方面的工作。


组件二次开发：
组件的功能或性能不能满足要求，或存在已知bug,需要打补丁
对能力的要求很高

组件工具开发: 
一些组件只能通过命令行操作，一些组件需要自定义统计或监控，需要开发相应的工具
对能力的要求较高

数据采集和清洗开发:
类似传统数据仓库ETL的工作，以及实时性更高的数据采集
配置类和开发类工作并存

数据仓库开发:
类似传统数据仓库的开发，以SQL为主，辅以调度等周边系统开发工作
对SQL，OLAP技能有较高要求

离线数据应用开发:
基于HDFS或Hadoop上数据仓库开发离线应用，如报表，离线推荐等
计算框架是MapReduce

在线数据应用开发:
基于高速存储，消息队列等开发在线应用，如BI,搜索,在线推荐等
计算框架是Spark或Storm




人工智能及机器学习和大数据开发的关系:

大数据技术可以看做是实现人工智能，机器学习应用的一种手段