主要职责：
1、负责各种数据的采集清洗整合；
2、负责大数据项目的开发和维护；
3、负责hadoop相关组件的性能优化。

技能要求：
1、至少熟练使用java或scala中一种；
2、熟悉hadoop生态圈，对每个hadoop组件都能够了解：hdfs、yarn、hive、spark、es、kafka、spark；
3、具有大数据开发工作经验（具备处理TB级别数据处理计算经验优先）；
4、熟练使用一种流处理引擎Sparkstreaming或Flink，快速完成大数据计算开发工作；
5、了解linux系统，及shell编程.