1、负责Hadoop大数据平台各类数据业务抽象及模型化；
2、负责数据仓库ETL设计、开发及自动化工作；
3、负责Spark的功能扩展和性能优化，使用海量数据解决并实现业务需求；
4、设计或配合算法工程师实现算法，解决实体识别、情感分析等相关问题；
5、使用Hive、Spark进行数据处理，协助建立数据模型。

专业/学历:

1、本科及以上学历，精通SQL，精通Java、scala，Python其中至少一门语言；
2、熟悉数据库数据仓库设计 ；
3、熟悉Hive、Spark、Spark SQL、SparkStreaming、kafka、Flume、Sqoop、hdfs，HBase等；
4、熟悉linux开发环境，掌握shell编程 。